重要性，能够看到越来越多的公开的基础模型、技术代码以及学术论文，有力地 推动了大模型技术的“透明化”。只有通过开放和共享，才能汇聚全人类的智慧 共同推进人工智能技术的发展。实际上，根据现有公开的资料，大模型技术也是 “有章可循”的，如整体训练流程、数据清洗方法、指令微调技术、人类偏好对齐 算法等。根据这些技术，在算力资源支持下，研发人员已经能够较为顺利地完成 大模型的整体训练流程，并取得不错的模型效果。随着更多核心技术的揭示和开 放，大模型技术的“透明化”将进一步提高。 为了更好地整理和传播大模型技术的最新进展与技术体系，我们在2023年3 月发表了大语言模型综述文章《A Survey of Large Language Models)》,并不断进行 更新完善。这篇综述文章已经更新到第13个版本，包含了83页的正文内容，并 收录了900余篇参考文献。自英文综述文章上线后，陆续有读者询问是否有对应 的中文版本。为此，我们于2023年8月发布了该综述(v10)的中文翻译版。在 2023年12月底，为了更好地提供大模型技术的中文参考资料，我们启动了中文书 的编写工作，并且于近日完成初稿。与英文综述文章的定位不同，中文版书籍更 注重为大模型技术的入门读者提供讲解，为此我们在内容上进行了大幅度的更新 与重组，力图展现一个整体的大模型技术框架和路线图。本书适用于具有深度学 习基础的高年级本科生以及低年级研究生使用，可以作为一本入门级的技术书籍 在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和教材 从中提炼出核心概念、主流算法与模型，并进行了系统性的组织与介绍。我们对于 每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。然而，在书 写过程中，我们深感自身能力与知识的局限性，尽管已经付出了极大的努力，但 难免会有遗漏或不当之处。本书的初版仅是一个起点，我们计划在网上持续进行 内容的更新和完善，并特别欢迎读者提出宝贵的批评与建议，也会同步在网站上 对于提出宝贵建议的读者进行致谢。我们将编写此书的过程当做一个自身的学习 过程，也希望能够通过本书与读者进行深人入交流，向更多的行业同行学习。 总之，大模型技术正处于快速发展阶段，基础原理亟待探索、关键技术亟待 改善。对于科研人员而言，大模型研究工作充满了想象空间，令人为之神往。随 着技术的不断进步与共享开放，我们有理由相信，未来人工智能技术将取得更大 的进展，将在更多领域带来更为深远的影响。 作者 2024年3月31日重要性，能够看到越来越多的公开的基础模型、技术代码以及学术论文，有力地 推动了大模型技术的“透明化”。只有通过开放和共享，才能汇聚全人类的智慧， 共同推进人工智能技术的发展。实际上，根据现有公开的资料，大模型技术也是 “有章可循”的，如整体训练流程、数据清洗方法、指令微调技术、人类偏好对齐 算法等。根据这些技术，在算力资源支持下，研发人员已经能够较为顺利地完成 大模型的整体训练流程，并取得不错的模型效果。随着更多核心技术的揭示和开 放，大模型技术的“透明化”将进一步提高。 为了更好地整理和传播大模型技术的最新进展与技术体系，我们在 2023 年 3 月发表了大语言模型综述文章《A Survey of Large Language Models》，并不断进行 更新完善。这篇综述文章已经更新到第 13 个版本，包含了 83 页的正文内容，并 收录了 900 余篇参考文献。自英文综述文章上线后，陆续有读者询问是否有对应 的中文版本。为此，我们于 2023 年 8 月发布了该综述（v10）的中文翻译版。在 2023 年 12 月底，为了更好地提供大模型技术的中文参考资料，我们启动了中文书 的编写工作，并且于近日完成初稿。与英文综述文章的定位不同，中文版书籍更 注重为大模型技术的入门读者提供讲解，为此我们在内容上进行了大幅度的更新 与重组，力图展现一个整体的大模型技术框架和路线图。本书适用于具有深度学 习基础的高年级本科生以及低年级研究生使用，可以作为一本入门级的技术书籍。 在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和教材， 从中提炼出核心概念、主流算法与模型，并进行了系统性的组织与介绍。我们对于 每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。然而，在书 写过程中，我们深感自身能力与知识的局限性，尽管已经付出了极大的努力，但 难免会有遗漏或不当之处。本书的初版仅是一个起点，我们计划在网上持续进行 内容的更新和完善，并特别欢迎读者提出宝贵的批评与建议，也会同步在网站上 对于提出宝贵建议的读者进行致谢。我们将编写此书的过程当做一个自身的学习 过程，也希望能够通过本书与读者进行深入交流，向更多的行业同行学习。 总之，大模型技术正处于快速发展阶段，基础原理亟待探索、关键技术亟待 改善。对于科研人员而言，大模型研究工作充满了想象空间，令人为之神往。随 着技术的不断进步与共享开放，我们有理由相信，未来人工智能技术将取得更大 的进展，将在更多领域带来更为深远的影响。 作者 2024 年 3 月 31 日