(资料图)

人类数据紧缺，AI被迫开始吃AI生产的数据了！这是微软、OpenAI等一众AI前沿公司面临的现状。他们从维基百科、电子书、新闻网站、博客、推特和Reddit等平台和论坛中搜罗了大量数据，现在这些数据快被用完了。但是要训练更好的大模型，多少数据都不够。据《金融时报》介绍，不少公司正把大模型生成的结果、也就是所谓的合成数据，喂给参数量更小的大模型吃，发现效果还不错。对于使用合成数据，OpenAI的CEOSamAltman不仅不介意，还放话“未来所有数据都将变成合成数据”。估值20亿美元的大模型初... 人类数据紧缺，AI被迫开始吃AI生产的数据了！这是微软、OpenAI等一众AI前沿公司面临的现状。他们从维基百科、电子书、新闻网站、博客、推特和Reddit等平台和论坛中搜罗了大量数据，现在这些数据快被用完了。但是要训练更好的大模型，多少数据都不够。据《金融时报》介绍，不少公司正把大模型生成的结果、也就是所谓的合成数据，喂给参数量更小的大模型吃，发现效果还不错。对于使用合成数据，OpenAI的CEOSamAltman不仅不介意，还放话“未来所有数据都将变成合成数据”。估值20亿美元的大模型初创公司Cohere同样在用合成数据。公司CEO、经典大模型Transformer论文作者之一AidanGomez甚至认为：合成数据可能加速通往“超级智能”AI系统的道路。展开