Supervised fine-tuning - 版本历史

Riguz：/* Web UI */

2024-07-24T06:45:02Z

Web UI

←上一版本		2024年7月24日 (三) 06:45的版本
第135行：		第135行：
	</syntaxhighlight>		</syntaxhighlight>
	<ref>https://www.gradio.app/guides/environment-variables</ref>		<ref>https://www.gradio.app/guides/environment-variables</ref>

			[[Image:Llama-factory-webui.png\|600px]]


	[[Category:Deep Learning]]		[[Category:Deep Learning]]

Riguz：/* Web UI */

2024-07-24T06:44:32Z

Web UI

←上一版本		2024年7月24日 (三) 06:44的版本
第37行：		第37行：
	</syntaxhighlight>		</syntaxhighlight>

	~~== Web UI ==~~

	~~<syntaxhighlight lang="bash">~~
	~~cd LLaMa-Factory~~
	~~GRADIO_SERVER_PORT=5050 llamafactory-cli webui~~
	~~</syntaxhighlight>~~
	~~<ref>https://www.gradio.app/guides/environment-variables</ref>~~

	=== Train ===		=== Train ===
第134行：		第127行：

	=== Inference ===		=== Inference ===

			== Web UI ==

			<syntaxhighlight lang="bash">
			cd LLaMa-Factory
			GRADIO_SERVER_PORT=5050 llamafactory-cli webui
			</syntaxhighlight>
			<ref>https://www.gradio.app/guides/environment-variables</ref>


	[[Category:Deep Learning]]		[[Category:Deep Learning]]

Riguz：/* Web UI */

2024-07-24T06:35:27Z

Web UI

←上一版本		2024年7月24日 (三) 06:35的版本
第40行：		第40行：

	<syntaxhighlight lang="bash">		<syntaxhighlight lang="bash">
			cd LLaMa-Factory
	GRADIO_SERVER_PORT=5050 llamafactory-cli webui		GRADIO_SERVER_PORT=5050 llamafactory-cli webui
	</syntaxhighlight>		</syntaxhighlight>

Riguz：/* Web UI */

2024-07-24T06:29:47Z

Web UI

←上一版本		2024年7月24日 (三) 06:29的版本
第42行：		第42行：
	GRADIO_SERVER_PORT=5050 llamafactory-cli webui		GRADIO_SERVER_PORT=5050 llamafactory-cli webui
	</syntaxhighlight>		</syntaxhighlight>
			<ref>https://www.gradio.app/guides/environment-variables</ref>

	=== Train ===		=== Train ===

Riguz：/* Train */

2024-07-24T06:27:31Z

Train

←上一版本		2024年7月24日 (三) 06:27的版本
第35行：		第35行：
	cd LLaMA-Factory		cd LLaMA-Factory
	pip install -e ".[torch,metrics]"		pip install -e ".[torch,metrics]"
			</syntaxhighlight>

			== Web UI ==

			<syntaxhighlight lang="bash">
			GRADIO_SERVER_PORT=5050 llamafactory-cli webui
	</syntaxhighlight>		</syntaxhighlight>

Riguz：/* LLaMA-Factory */

2024-07-23T11:13:58Z

LLaMA-Factory

←上一版本		2024年7月23日 (二) 11:13的版本
第37行：		第37行：
	</syntaxhighlight>		</syntaxhighlight>

			=== Train ===
	Put https://github.com/FreedomIntelligence/GrammarGPT/blob/main/pseudo_data/instruction.json into /data/		Put https://github.com/FreedomIntelligence/GrammarGPT/blob/main/pseudo_data/instruction.json into /data/

第123行：		第124行：
	{'task': {'name': 'Causal Language Modeling', 'type': 'text-generation'}}		{'task': {'name': 'Causal Language Modeling', 'type': 'text-generation'}}
	</syntaxhighlight>		</syntaxhighlight>

			=== Inference ===


	[[Category:Deep Learning]]		[[Category:Deep Learning]]

Riguz：/* LLaMA-Factory */

2024-07-23T11:13:21Z

LLaMA-Factory

←上一版本		2024年7月23日 (二) 11:13的版本
第96行：		第96行：

	[[Image:llamafactory-qwen-sft.png\|600px]]		[[Image:llamafactory-qwen-sft.png\|600px]]

			<syntaxhighlight lang="bash">
			[INFO\|tokenization_utils_base.py:2583] 2024-07-23 19:06:55,938 >> Special tokens file saved in saves/Qwen2-1.5B-Instruct/lora/sft/special_tokens_map.json
			*** train metrics ***
			epoch = 2.9867
			total_flos = 1675066GF
			train_loss = 0.5714
			train_runtime = 0:23:01.86
			train_samples_per_second = 1.954
			train_steps_per_second = 0.243
			Figure saved at: saves/Qwen2-1.5B-Instruct/lora/sft/training_loss.png
			07/23/2024 19:06:56 - WARNING - llamafactory.extras.ploting - No metric eval_loss to plot.
			07/23/2024 19:06:56 - WARNING - llamafactory.extras.ploting - No metric eval_accuracy to plot.
			[INFO\|trainer.py:3788] 2024-07-23 19:06:56,956 >>
			*** Running Evaluation ***
			[INFO\|trainer.py:3790] 2024-07-23 19:06:56,956 >> Num examples = 100
			[INFO\|trainer.py:3793] 2024-07-23 19:06:56,956 >> Batch size = 1
			100%\|████████████████████████████████████████████████████████████████████\| 100/100 [00:15<00:00, 6.35it/s]
			*** eval metrics ***
			epoch = 2.9867
			eval_loss = 0.5796
			eval_runtime = 0:00:15.98
			eval_samples_per_second = 6.255
			eval_steps_per_second = 6.255
			[INFO\|modelcard.py:449] 2024-07-23 19:07:12,965 >> Dropping the following result as it does not have all the necessary fields:
			{'task': {'name': 'Causal Language Modeling', 'type': 'text-generation'}}
			</syntaxhighlight>

	[[Category:Deep Learning]]		[[Category:Deep Learning]]

Riguz：/* LLaMA-Factory */

2024-07-23T10:55:30Z

LLaMA-Factory

←上一版本		2024年7月23日 (二) 10:55的版本
第94行：		第94行：
	llamafactory-cli train examples/train_lora/qwen-sft.yaml:		llamafactory-cli train examples/train_lora/qwen-sft.yaml:
	</syntaxhighlight>		</syntaxhighlight>

			[[Image:llamafactory-qwen-sft.png\|600px]]

	[[Category:Deep Learning]]		[[Category:Deep Learning]]

Riguz：/* LLaMA-Factory */

2024-07-23T10:53:19Z

LLaMA-Factory

@@ 第37行： / 第37行： @@
 </syntaxhighlight>
-# Put https://github.com/FreedomIntelligence/GrammarGPT/blob/main/pseudo_data/instruction.json into /data/
+Put https://github.com/FreedomIntelligence/GrammarGPT/blob/main/pseudo_data/instruction.json into /data/
 [[Category:Deep Learning]]

Riguz：/* LLaMA-Factory */

2024-07-23T10:49:15Z

LLaMA-Factory

←上一版本		2024年7月23日 (二) 10:49的版本
第30行：		第30行：
	== LLaMA-Factory ==		== LLaMA-Factory ==

			Install LLaMA-Factory
	<syntaxhighlight lang="bash">		<syntaxhighlight lang="bash">
	git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git		git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
第35行：		第36行：
	pip install -e ".[torch,metrics]"		pip install -e ".[torch,metrics]"
	</syntaxhighlight>		</syntaxhighlight>

			# Put https://github.com/FreedomIntelligence/GrammarGPT/blob/main/pseudo_data/instruction.json into /data/
			# Update data/dataset_info.json:




	[[Category:Deep Learning]]		[[Category:Deep Learning]]

Supervised fine-tuning - 版本历史

Riguz：​/* Web UI */

Riguz：​/* Web UI */

Riguz：​/* Web UI */

Riguz：​/* Web UI */

Riguz：​/* Train */

Riguz：​/* LLaMA-Factory */

Riguz：​/* LLaMA-Factory */

Riguz：​/* LLaMA-Factory */

Riguz：​/* LLaMA-Factory */

Riguz：​/* LLaMA-Factory */

Riguz：/* Web UI */

Riguz：/* Web UI */

Riguz：/* Web UI */

Riguz：/* Web UI */

Riguz：/* Train */

Riguz：/* LLaMA-Factory */

Riguz：/* LLaMA-Factory */

Riguz：/* LLaMA-Factory */

Riguz：/* LLaMA-Factory */

Riguz：/* LLaMA-Factory */