《从零构建大模型》

编辑推荐

适读人群 ：本书适合对机器学习和生成式AI 感兴趣的读者阅读，特别是那些希望从零开始构建自己的大模型的读者。

Github4万星神作，数据处理+模型搭建+无监督训练+任务微调，仅需掌握Python，带你从零构建AI大模型；

揭开大模型背后的面纱，让读者了解其工作原理，学习如何评估其质量，并掌握微调和改进的具体技术；

强调亲手实践，使用PyTorch而不依赖现有库，通过各种图表和图解帮助读者深入理解LLM的工作机制、局限性和定制方式；

通过本书的学习，读者可以创建自己的小型但功能强大的模型，并将其作为个人助手使用；

更有惊喜彩蛋：深度解析DeepSeek大模型背后技术，揭秘行业前沿！

内容简介

《从零构建大模型》本书是关于如何从零开始构建大模型的指南，由畅销书作家塞巴斯蒂安·拉施卡撰写，通过清晰的文字、图表和实例，逐步指导读者创建自己的大模型。在本书中，读者将学习如何规划和编写大模型的各个组成部分、为大模型训练准备适当的数据集、进行通用语料库的预训练，以及定制特定任务的微调。此外，本书还将探讨如何利用人工反馈确保大模型遵循指令，以及如何将预训练权重加载到大模型中。

作者简介

塞巴斯蒂安·拉施卡（Sebastian Raschka）

极具影响力的人工智能专家，本书配套GitHub项目LLMs-from-scratch达4万星。现在大模型独角兽公司Lightning Al任资深研究工程师。博士毕业于密歇根州立大学，2018~2023年威斯康星大学麦迪逊分校助理教授（终身教职），从事深度学习科研和教学。除本书外，他还写作了畅销书《大模型技术30讲》和《Python机器学习》。

【译者简介】

覃立波，中南大学特聘教授，博士生导师。现任中国中文信息学会青工委秘书长。主要研究兴趣为人工智能、自然语言处理、大模型等。曾担任ACL.EMNLP、NAACL、IJCAI等国际会议领域主席或高级程序委员会委员。

冯骁骋，哈尔滨工业大学计算学部社会计算与交互机器人研究中心教授，博士生导师，人工智能学院副院长。研究兴趣包括自然语言处理、大模型等。在ACL、AAAl、IJCAl、TKDE、TOIS 等CCFA B类国际会议及期刊发表论文50余篇。

刘乾，新加坡某公司的研究科学家，主要研究方向是代码生成与自然语言推理。他在顶级人工智能会议（如ICLR、NeurlPS、ICML）上发表了数十篇论文，曾获得2020年百度奖学金提名奖、北京市2023年优秀博士论文提名奖、2024年 KAUST Rising Stars in Al等荣誉。

【主审人简介】

车万翔，哈尔滨工业大学计算学部长聘教授，博士生导师，人工智能研究院副院长，国家级青年人才，斯坦福大学访问学者。

黄科科，中南大学教授，博士生导师，自动化学院副院长，国家级青年人才。