NanoGPT Tutorial - 版本历史

Riguz：Riguz移动页面NanoGPT至NanoGPT Tutorial，不留重定向

2023-12-18T15:14:03Z

Riguz移动页面NanoGPT至NanoGPT Tutorial，不留重定向

←上一版本		2023年12月18日 (一) 15:14的版本
（没有差异）

Riguz：/* 提升模型参数并使用GPU训练 */

2023-12-18T15:12:14Z

提升模型参数并使用GPU训练

←上一版本		2023年12月18日 (一) 15:12的版本
第379行：		第379行：


	[[Image:Colab-change-runtime.png\|600px\|border]]		[[Image:Colab-change-runtime.png\|600px\|border\|thumb]]

	Colab默认就支持Python环境，因此对于我们的训练来说，省去了安装Python的烦恼，开箱即用。不过，我们先确认一下GPU是否真的能用：		Colab默认就支持Python环境，因此对于我们的训练来说，省去了安装Python的烦恼，开箱即用。不过，我们先确认一下GPU是否真的能用：

Riguz：/* 提升模型参数并使用GPU训练 */

2023-12-18T15:06:08Z

提升模型参数并使用GPU训练

←上一版本		2023年12月18日 (一) 15:06的版本
第437行：		第437行：
	iter 5000: loss 1.3843, time 13585.75ms, mfu 3.12%		iter 5000: loss 1.3843, time 13585.75ms, mfu 3.12%
	</syntaxhighlight>		</syntaxhighlight>


	且先看一下效果如何：		且先看一下效果如何：

Riguz：/* 提升模型参数并使用GPU训练 */

2023-12-18T14:59:52Z

提升模型参数并使用GPU训练

←上一版本		2023年12月18日 (一) 14:59的版本
第377行：		第377行：
	Google对于免费用户提供了[https://www.nvidia.com/en-us/data-center/tesla-t4/ Telsa T4]的GPU选项，其显存为16G，		Google对于免费用户提供了[https://www.nvidia.com/en-us/data-center/tesla-t4/ Telsa T4]的GPU选项，其显存为16G，
	已经是个很不错的GPU了。		已经是个很不错的GPU了。


	[[Image:Colab-change-runtime.png\|600px\|border]]		[[Image:Colab-change-runtime.png\|600px\|border]]

2023年12月13日 (三) 03:03 Riguz

2023-12-13T03:03:23Z

←上一版本		2023年12月13日 (三) 03:03的版本
第17行：		第17行：
	无需本地显卡。		无需本地显卡。
	您也可以在其他的硬件和操作系统上运行，		您也可以在其他的硬件和操作系统上运行，
	~~或者使用在线的环境如Codelab（后文会有介绍）等。~~		或者使用在线的环境如Colab（后文会有介绍）等。

	== 安装Miniconda 和Python==		== 安装Miniconda 和Python==
第372行：		第372行：
	为了更快能够验证结果，		为了更快能够验证结果，
	我们需要使用GPU来进行训练。		我们需要使用GPU来进行训练。
	我们没有GPU怎么办？不要慌，有很多免费的GPU训练平台可以使用，例如，Google的[https://colab.research.google.com/ ~~Codelab~~]就是之一。		我们没有GPU怎么办？不要慌，有很多免费的GPU训练平台可以使用，例如，Google的[https://colab.research.google.com/ Colab]就是之一。

	~~在Codelab中，新建一个记事本，并将运行环境设置为GPU~~("代码执行程序“->"更改运行时类型"）。		在Colab中，新建一个记事本，并将运行环境设置为GPU("代码执行程序“->"更改运行时类型"）。
	Google对于免费用户提供了[https://www.nvidia.com/en-us/data-center/tesla-t4/ Telsa T4]的GPU选项，其显存为16G，		Google对于免费用户提供了[https://www.nvidia.com/en-us/data-center/tesla-t4/ Telsa T4]的GPU选项，其显存为16G，
	已经是个很不错的GPU了。		已经是个很不错的GPU了。

	[[Image:~~Codelab~~-change-runtime.png\|600px\|border]]		[[Image:Colab-change-runtime.png\|600px\|border]]

	~~Codelab默认就支持Python环境，因此对于我们的训练来说，省去了安装Python的烦恼，开箱即用。不过，我们先确认一下GPU是否真的能用：~~		Colab默认就支持Python环境，因此对于我们的训练来说，省去了安装Python的烦恼，开箱即用。不过，我们先确认一下GPU是否真的能用：

	<syntaxhighlight lang="bash">		<syntaxhighlight lang="bash">
第596行：		第596行：

	= 总结 =		= 总结 =
	~~我们通过nanoGPT和Codelab，~~		我们通过nanoGPT和Colab，
	一分钱没花就体验了一把训练大模型的感觉，		一分钱没花就体验了一把训练大模型的感觉，
	体验真棒！		体验真棒！

Riguz：/* 总结 */

2023-12-12T17:05:08Z

总结

←上一版本		2023年12月12日 (二) 17:05的版本
第618行：		第618行：
	也会对使用大模型起到帮助作用。		也会对使用大模型起到帮助作用。

			当然，nanoGPT的功能也是有局限的，
			它其实并不是一个真正的GPT，因为它不具备对话的功能，
			只能进行续写补全。
			但这并不影响它成为一个值得去玩的项目，
	除了本文的玩法外，		除了本文的玩法外，
	~~还有一些其他的玩法也很有意思，比如训练诗词生成器、生成鲁迅风格的内容等。~~		网上还有一些其他的玩法也很有意思，比如训练诗词生成器、生成鲁迅风格的内容等。

	文中所有的代码都可在[https://github.com/drriguz/nanoGPT.git Github]仓库中找到，		文中所有的代码都可在[https://github.com/drriguz/nanoGPT.git Github]仓库中找到，

Riguz：/* 总结 */

2023-12-12T17:00:01Z

总结

←上一版本		2023年12月12日 (二) 17:00的版本
第617行：		第617行：
	通过它了解一些大模型的底层原理，		通过它了解一些大模型的底层原理，
	也会对使用大模型起到帮助作用。		也会对使用大模型起到帮助作用。

			除了本文的玩法外，
			还有一些其他的玩法也很有意思，比如训练诗词生成器、生成鲁迅风格的内容等。

	文中所有的代码都可在[https://github.com/drriguz/nanoGPT.git Github]仓库中找到，		文中所有的代码都可在[https://github.com/drriguz/nanoGPT.git Github]仓库中找到，

Riguz：/* 总结 */

2023-12-12T16:58:00Z

总结

←上一版本		2023年12月12日 (二) 16:58的版本
第618行：		第618行：
	也会对使用大模型起到帮助作用。		也会对使用大模型起到帮助作用。

	文中所有的代码都可在[https://github.com/drriguz/nanoGPT.git Github]~~仓库中找到。~~		文中所有的代码都可在[https://github.com/drriguz/nanoGPT.git Github]仓库中找到，
			文中还使用了[https://github.com/garychowcmu/daizhigev20 殆知阁古代文献数据集]中水浒传和佛经相关的训练数据。
	受限于笔者的水平，文中错误之处在所难免，欢迎读者不吝赐教。		受限于笔者的水平，文中错误之处在所难免，欢迎读者不吝赐教。

	[[Category:Deep Learning]]		[[Category:Deep Learning]]
	[[Category:PyTorch]]		[[Category:PyTorch]]

Riguz：/* 微调nanoGPT */

2023-12-12T16:55:51Z

微调nanoGPT

←上一版本		2023年12月12日 (二) 16:55的版本
第590行：		第590行：
	Chuck Norris saved a programmer when his employees were about to write a program. It was the last thing a human would ever do.)		Chuck Norris saved a programmer when his employees were about to write a program. It was the last thing a human would ever do.)
	</syntaxhighlight>		</syntaxhighlight>

			这里就可以体现出微调的好处了。由于有大量数据训练的底座模型，我们不再需要在微调数据中教给大模型基本的语法知识，
			只需要提供一些我们期望的内容来改变生成结果的风格。
			这样，生成出来的结果不仅语法通顺，效果上也符合我们的预期。

	= 总结 =		= 总结 =

Riguz：/* 微调nanoGPT */

2023-12-12T16:53:45Z

微调nanoGPT

←上一版本		2023年12月12日 (二) 16:53的版本
第549行：		第549行：
	微调nanoGPT与普通训练差别不大，仍然是将数据集拆分，		微调nanoGPT与普通训练差别不大，仍然是将数据集拆分，
	然后执行训练脚本即可。		然后执行训练脚本即可。
	~~由于是在预训练的模型上进行微调，首先我们需要选择一个底座模型，~~		由于是在预训练的模型上进行微调，我们需要选择一个底座模型作为基础。
	由于T4 GPU显存有限，我们这里最高只能选择到gpt2-mediu，		由于T4 GPU显存有限，我们这里最高只能选择到gpt2-mediu，
	~~再高的模型（gpt2~~-large, gpt2-xl）可能就微调不了了：		更高的模型（gpt2-large, gpt2-xl）可能就微调不了了：

	<syntaxhighlight lang="python">		<syntaxhighlight lang="python">

NanoGPT Tutorial - 版本历史

Riguz：​Riguz移动页面NanoGPT至NanoGPT Tutorial，不留重定向

Riguz：​/* 提升模型参数并使用GPU训练 */

Riguz：​/* 提升模型参数并使用GPU训练 */

Riguz：​/* 提升模型参数并使用GPU训练 */

2023年12月13日 (三) 03:03 Riguz

Riguz：​/* 总结 */

Riguz：​/* 总结 */

Riguz：​/* 总结 */

Riguz：​/* 微调nanoGPT */

Riguz：​/* 微调nanoGPT */

Riguz：Riguz移动页面NanoGPT至NanoGPT Tutorial，不留重定向

Riguz：/* 提升模型参数并使用GPU训练 */

Riguz：/* 提升模型参数并使用GPU训练 */

Riguz：/* 提升模型参数并使用GPU训练 */

Riguz：/* 总结 */

Riguz：/* 总结 */

Riguz：/* 总结 */

Riguz：/* 微调nanoGPT */

Riguz：/* 微调nanoGPT */