ChatGPT 负责人：GPT-4 越来越聪明是因为 post-traning，大模型短期没有数据瓶颈

本文编译自 Dwarkesh Patel 对 John Schulman 的访谈。John Schulman 是 OpenAI 联合创始人、研究科学家（OpenAI 现存最主要具有技术背景的创始人），他领导了 ChatGPT 项目，在 OpenAI 内部长期负责模型 post-traning，在 Ilya 和 Jan Leike 离开 OpenAI 后，下一代模型安全性风险相关的研究也会由 John Schulman 来接替负责。John Schulman 的研究主要集中在 RLHF 相关领域，他曾提出 RLHF 是 ChatGPT 成功的秘密武器。

本次访谈中，John Schulman 主要分享了自己关于模型训练的最新认知。John 认为 post-training 是模型变得越来越聪明的重要原因，GPT-4 的 Elo 分数之所以能比第一代 GPT 高出 100 分也和 post-traning 的提升相关，在未来的模型训练中，post-traning 需要被分配到更多的计算资源。

对于下一阶段模型训练的问题上。John Schulman 认为模型能力的提升应该集中在如何处理连续任务上，今天的模型还只能解决人类 5 分钟左右完成的任务，而接下来 AI 在执行和管理复杂的长时间任务上的能力还会再提升，比如可以不依赖 API 接口直接读懂网站内容、进而完成任务。他还认为，数据瓶颈的问题有可能被夸大了，短期内看不到数据瓶颈。未来随着瓶颈的到来，pre-training 的方式也会逐步升级。

文章来源于“Founder Park”，作者“Founder Park”