在 Macbook 上自己尝试了一下 0.1B 的大模型训练

近年来 AI 是卷得越来越厉害了，作为一个普通开发者经常用 AI 辅助编程，但是没有接触过怎么去创造 AI ，这个五一假期，在家研究了一下大模型是怎么训练的……

折腾下来发现一个挺尴尬的事实：网上教程要么是「调用 OpenAI API 」，要么是「分布式集群跑 Llama-3-70B 」，『在自己机器上从零训练一个能用的小模型』反而很少有人讲透。

干脆自己摸一遍，顺手做成工具 Tiny LLM Studio，目标就一个：在 MacBook 上把一个 0.1B 中文模型从 tokenizer 训到 DPO ，全流程跑通。

技术栈没整花哨的：

实测在 M4 Pro / 48GB 上吞吐 8k–15k tokens/s：0.5B tokens 大约 12 小时验证 loss 收敛。--resume 支持断点续训，吃完饭回来无缝接着练。

自己尝试了一下训练，用 1G 的数据量，训练了 1 晚上，然后尝试用 ollama 直接调用大模型，结果吐一堆乱码

后面继续用这 1G 数据再训练 1 晚上，然后进行 sft 微调训练，效果好一些了，至少吐出来的是大段中文

继续用这 1G 数据再训练了第 3 个晚上，然后 sft 微调，吐文字不再大段乱码，而是小段中文短语

用更大量的数据，训练足够多的时间，模型的响应效果会更好。不过这样在我 Macbook 上会需要更多时间。

写到一半我又加了点工程化的私货：

整套放上 GitHub 了，MIT 协议。如果你也想从「用 AI 」过渡到「亲手了解 AI 是怎么炼出来的」，又不想为了学习先去租一张 8×H100 ，欢迎来一起折腾。