目录 第一部分背景与基础知识 1 第一章引言 2 1.1语言模型的发展历程 2 12大语言模型的能力特点···········。··· 5 1.3大语言模型关键技术概览 1.4大语言模型对科技发展的影响 15本书的内容组织。…··················…······· 第二章基础介绍 15 2.1大语言模型的构建过程 15 211大规模预训练·。····.·········.··。。·， 16 212指令微调与人类对济...·..·.··17 22扩展法则.·.·.....。 2.21KM扩展法则…18 2.2.2 Chinchilla扩展法则........................ 20 2.2.3关于扩展法则的讨论 21 22 2.3.1代表性的涌现能力 ，。，，。。·，+。·4”4。”·””…”” 22 2.3.2涌现能力与扩展法则的关系··.·····.·.···.····24 2.4GPT系列模型的技术演变.。·，.，·，···.。·.，.·····.， 26 2.4.1早期探索.··· 26 2.4.2规模扩展 28 243能力增强···················· 29 2.4.4性能跃升 第三章大语言模型资源 妇 31公开可用的模型检查点或AP·。,················· 32 目录 第一部分 背景与基础知识 1 第一章 引言 2 1.1 语言模型的发展历程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 大语言模型的能力特点 . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 大语言模型关键技术概览 . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.4 大语言模型对科技发展的影响 . . . . . . . . . . . . . . . . . . . . . . . 11 1.5 本书的内容组织 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 第二章 基础介绍 15 2.1 大语言模型的构建过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.1.1 大规模预训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.1.2 指令微调与人类对齐 . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2 扩展法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.1 KM 扩展法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.2 Chinchilla 扩展法则 . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.2.3 关于扩展法则的讨论 . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3 涌现能力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3.1 代表性的涌现能力 . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3.2 涌现能力与扩展法则的关系 . . . . . . . . . . . . . . . . . . . . 24 2.4 GPT 系列模型的技术演变 . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.4.1 早期探索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.4.2 规模扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4.3 能力增强 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.4.4 性能跃升 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 第三章 大语言模型资源 32 3.1 公开可用的模型检查点或 API . . . . . . . . . . . . . . . . . . . . . . . 32