直到 发布为止。 这是一个专注于小规模实验和算法进步的阶段。然后，第二阶段大致从 GPT-3 开始到现在，进入了初始扩展阶段。 表现得相当不错，接着 及其他公司开始大规模扩展这些模型，像 和 x 等许多公司也加入了这个竞赛
将模型的能力提升
到极限。 过去两三年间，几乎完全是执 南非电子邮件列表 行层面的工作，涉及如何使大规模训练顺利进行，如何避免代码中的怪异错误，如何设置更大的集群等。 接下来我认为我们将进入一个研究和执行之间更多交替的阶段，各实验室将朝着不同的研究方向发展，并在不同时期取得各自的突破，因此这是一个激动人心的转折期。 他们已经达到了一个阶段，虽然不能说计算资源是丰富的
但已经足够
支撑模型的发展，基本不再是一个限制。而在 收集用户对引流工具的反馈 数据方面，所有前沿实验室已经尽可能地挖掘了可用的数据资源。接下来就是在数据方面取得突破，对吗 是的，基本上是这样。如果你看这三大支柱，计算方面我们显然会继续扩大训练集群的规模，这个方向是比较明确的。算法方面，我认为将会有很多创新。 事实上，很多实验室现在都在这一领域进行深入的研究
而关于数据
你提到的很对，我们已经用尽了所有 CZ 领先 容易获取的公开数据。 ： 是的，所有人都可以获得相同的数据。 ： 没错，很多人称之为“数据墙”，我们已经利用了所有公开的数据资源。而下一阶段的标志之一将是数据生产。 每个实验室将如何生成所需的数据以实现更高的智能水平，这将是一个关键问题，我们如何朝着数据丰富迈进？这将需要多个领域的前沿研究。 我认为，首先是推动数据复杂性的提升，迈向前沿数据。我们希望在模型中构建的许多能力，其最大的障碍其实是数据的缺乏。
