Llama.cpp - 版本历史

Riguz：/* Run the model */

2024-07-19T06:15:00Z

Run the model

←上一版本		2024年7月19日 (五) 06:15的版本
第22行：		第22行：

	</syntaxhighlight>		</syntaxhighlight>

			= quantize=
			<ref>https://cloud.aigonna.com/2024/03/25/llama-cpp%E9%87%8F%E5%8C%96/</ref>

			<syntaxhighlight lang="bash">

			</syntaxhighlight>

	[[Category:Deep Learning]]		[[Category:Deep Learning]]

2024-07-19T02:56:29Z

Convert Hugging Face Model to GGUF

←上一版本		2024年7月19日 (五) 02:56的版本
第17行：		第17行：
	</syntaxhighlight>		</syntaxhighlight>

			=Run the model =
			<syntaxhighlight lang="bash">
			./llama-cli -m ~/Documents/MODELS/qwen2-0.5b-fp16.gguf -p "Hi, who are you?" -n 128

			</syntaxhighlight>
	[[Category:Deep Learning]]		[[Category:Deep Learning]]

2024-07-19T02:48:33Z

Convert Hugging Face Model to GGUF

←上一版本		2024年7月19日 (五) 02:48的版本
第13行：		第13行：
	pip install -r requirements.txt		pip install -r requirements.txt
	python convert_hf_to_gguf.py --help		python convert_hf_to_gguf.py --help
			#M1 MPS does not support bf16
			python convert_hf_to_gguf.py ~/Documents/MODELS/Qwen2-0.5B --outfile ~/Documents/MODELS/qwen2-0.5b-fp16.gguf --outtype f16
	</syntaxhighlight>		</syntaxhighlight>

	[[Category:Deep Learning]]		[[Category:Deep Learning]]

2024-07-19T02:39:36Z

Convert Hugging Face Model to GGUF

←上一版本		2024年7月19日 (五) 02:39的版本
第12行：		第12行：
	<syntaxhighlight lang="bash">		<syntaxhighlight lang="bash">
	pip install -r requirements.txt		pip install -r requirements.txt
			python convert_hf_to_gguf.py --help
	</syntaxhighlight>		</syntaxhighlight>

	[[Category:Deep Learning]]		[[Category:Deep Learning]]

2024-07-19T02:37:41Z

Build llama.cpp

←上一版本		2024年7月19日 (五) 02:37的版本
第6行：		第6行：
	cd llama.cpp		cd llama.cpp
	make		make
			</syntaxhighlight>

			=Convert Hugging Face Model to GGUF =

			<syntaxhighlight lang="bash">
			pip install -r requirements.txt
	</syntaxhighlight>		</syntaxhighlight>

	[[Category:Deep Learning]]		[[Category:Deep Learning]]

2024-07-19T01:46:01Z

←上一版本		2024年7月19日 (五) 01:46的版本
第1行：		第1行：
			= Build llama.cpp =
			<ref>https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md</ref>

			<syntaxhighlight lang="bash">
			git clone https://github.com/ggerganov/llama.cpp
			cd llama.cpp
			make
			</syntaxhighlight>

	[[Category:Deep Learning]]		[[Category:Deep Learning]]

2024-07-19T01:44:09Z

创建页面，内容为“ Category:Deep Learning”

新页面

[[Category:Deep Learning]]