并且坚定地去执行这条路线，这就是OpenAI成功的关键所在。回顾OpenAI的早 期论文，实际上早在GPT2的论文中，就深人讨论了基于大规模文本预训练的通 用任务学习范式，让人不禁感叹OpenAI团队的技术前瞻性。虽然这种研究模式很 难复制，但是值得我们去思考、学习。 OpenAI团队自GPT-3开始，就很少在公开的材料中提及相关技术细节，很 多技术报告主要是介绍评测相关的内容。到目前为止，关于GT系列模型的核心 技术仍然难以完全解密。虽然有众多公司在尝试复刻GPT水平的大语言模型（如 Anthropic、.Google等)，但是整体来说，OpenAI仍然在大模型技术上有着较大的 领先性。根据Sam Altman的公开采访介绍，尚未发布的GPT-5相比GPT-4将会有 重要的技术进步。如果事实如此，那么GPT5的到来将再次拉大了与当前其他大 语言模型的差距，可能意味着人类向着通用人工智能又迈出了重要一步。 相信有很多人都会有一个共同的疑问：为什么GPT水平的大模型难训练？关 于为何GPT级别的大模型难以训练，许多人可能会首先想到算力的限制。确实，为 了训练百亿级别的高水平大模型，通常需要最少百卡级别的A1OO/A800(80G)资 源，而为了充分探索训练过程中的各种细节，往往需要有千卡级别的A100/A8O0 (⑧0G)资源作为支撑。而对于千亿、万亿模型来说，所需要耗费的算力资源更是极 为庞大。目前，学术界面临的重大挑战是真正有充足资源去尝试预训练技术的团 队少之又少，因此导致了第一手经验匮乏，难以直接开展相关研究。 大模型训练涉及众多训练的细节，这些细节很多时候无法从已有科研论文中 直接获取。在统计学习时代，可以针对机器学习模型进行非常充分的实证研究，例 如使用栅格搜索参数的最优值、选择核函数、执行交叉验证等。通过广泛的调优 实验，研究人员很快就能积累充足的训练经验，进而形成对于这些统计机器学习 模型的深人理解。但是，大语言模型由于参数众多、组件复杂、训练过程也比较 复杂，早期的实验探索如果不引入任何先验知识，可能会导致指数级增长的实验 数量。然而，现实情况是，很多研究人员并没有足够的资源去完成一次完整的大 规模预训练实验，这使得掌握大模型技术的第一手经验变得尤为困难，更不用说 从零开始探索相关科研问题，极大限制了学术界在此次人工浪潮中所起到的作用 目前，能力较强的大语言模型基本都源自工业界，这一趋势随着时间的推移可能 会变得更加明显。从第一手经验中“Know-How”,对于科研人员来说非常重要，只 有接触到技术核心，才能真正理解哪些问题是有意义的，并找到解决方案。 令人欣喜的是，无论是在学术界还是工业界，人们都逐渐认识到了“开放”的 并且坚定地去执行这条路线，这就是 OpenAI 成功的关键所在。回顾 OpenAI 的早 期论文，实际上早在 GPT-2 的论文中，就深入讨论了基于大规模文本预训练的通 用任务学习范式，让人不禁感叹 OpenAI 团队的技术前瞻性。虽然这种研究模式很 难复制，但是值得我们去思考、学习。 OpenAI 团队自 GPT-3 开始，就很少在公开的材料中提及相关技术细节，很 多技术报告主要是介绍评测相关的内容。到目前为止，关于 GPT 系列模型的核心 技术仍然难以完全解密。虽然有众多公司在尝试复刻 GPT 水平的大语言模型（如 Anthropic、Google 等），但是整体来说，OpenAI 仍然在大模型技术上有着较大的 领先性。根据 Sam Altman 的公开采访介绍，尚未发布的 GPT-5 相比 GPT-4 将会有 重要的技术进步。如果事实如此，那么 GPT-5 的到来将再次拉大了与当前其他大 语言模型的差距，可能意味着人类向着通用人工智能又迈出了重要一步。 相信有很多人都会有一个共同的疑问：为什么 GPT 水平的大模型难训练？关 于为何 GPT 级别的大模型难以训练，许多人可能会首先想到算力的限制。确实，为 了训练百亿级别的高水平大模型，通常需要最少百卡级别的 A100/A800 (80G) 资 源，而为了充分探索训练过程中的各种细节，往往需要有千卡级别的 A100/A800 (80G) 资源作为支撑。而对于千亿、万亿模型来说，所需要耗费的算力资源更是极 为庞大。目前，学术界面临的重大挑战是真正有充足资源去尝试预训练技术的团 队少之又少，因此导致了第一手经验匮乏，难以直接开展相关研究。 大模型训练涉及众多训练的细节，这些细节很多时候无法从已有科研论文中 直接获取。在统计学习时代，可以针对机器学习模型进行非常充分的实证研究，例 如使用栅格搜索参数的最优值、选择核函数、执行交叉验证等。通过广泛的调优 实验，研究人员很快就能积累充足的训练经验，进而形成对于这些统计机器学习 模型的深入理解。但是，大语言模型由于参数众多、组件复杂、训练过程也比较 复杂，早期的实验探索如果不引入任何先验知识，可能会导致指数级增长的实验 数量。然而，现实情况是，很多研究人员并没有足够的资源去完成一次完整的大 规模预训练实验，这使得掌握大模型技术的第一手经验变得尤为困难，更不用说 从零开始探索相关科研问题，极大限制了学术界在此次人工浪潮中所起到的作用。 目前，能力较强的大语言模型基本都源自工业界，这一趋势随着时间的推移可能 会变得更加明显。从第一手经验中“Know-How”，对于科研人员来说非常重要，只 有接触到技术核心，才能真正理解哪些问题是有意义的，并找到解决方案。 令人欣喜的是，无论是在学术界还是工业界，人们都逐渐认识到了“开放”的