小扎新开源的，要带着套壳大模型追平？

三个月过去了，当初的“开源落后论”再一次被打脸。

而打脸的人，仍然是上次那位，元宇宙倡导者，前半职业拳击手，潜伏在硅谷的纯正蜥蜴人，扎克伯格。

好吧不卖关子了，简单来说就是，开源AI界扛把子MetaAI，昨晚更新他们最新最强的大模型，Llama3.1。

这玩意跟上次Llama3一样也是三个版本，除了同参数量的80亿和700亿，这次最亮眼的是他们的超大杯，在老黄数万显卡的供应下，小扎的新模型用了足足4050亿参数！

而它的性能，也号称已经完全追上ChatGPT4o和Claude3.5-Sonnet，像长文本和数学这些方面甚至超过他俩。这回啊，是开源的胜利！

硅谷的其他大佬也对这个模型相当看好，斯坦福大学计算机教授、谷歌AI负责人AndrewNg感慨道，Meta的这次更新，对所有人来说都是超赞的礼物。

英伟达科学家，AI实验室负责人JimFan甚至认为，比肩GPT-4的力量已经发送到大家手中了，这是个历史性时刻！

不少媒体也跟着炸裂，宣称AGI之路近在眼前了，不过世超我还是先泼一盆冷水，劝大家先别急着狂热了，因为人家MetaAI官方这次，也放出了Llama3.1的详细论文，足足90页。

这个版本究竟改进了什么地方，是不是真有吹的这么神，那论文里其实都写上了。

咱们也花了一个下午，研究了一番，发现这篇论文涵盖了预处理、生成训练、推理训练、退火迭代、多模态评估等流程，但核心其实说的就是两件事，一是大量的训练，二是训练里做了些优化。

首先咱就说训练这方面，他们就下了大功夫，做了算力和数据的扩充。

毕竟人家用了1.6万台H100跑了3930万GPU小时（相当于单块GPU3930万个小时的计算量）。运算规模比Llama2翻了50倍，还填了包括多种语言的15万亿Tokens，相当于7500亿单词进去，而上代版本只有1.8万亿Tokens。模型上下文窗口也从8K增加到128K，扩展了16倍。

数据和运算规模上去了，能力肯定也就上来了，突出一个力大砖飞。毕竟这么多东西，要咱学大概率摆烂学不动，但人家AI是真学啊。

其次，除了填鸭式训练，训练内容里的优化和微调也挺重要的，这也是他们能快速进步的另一个原因。比如说在刚开始处理训练信息的时候，他们就用了一些算法，来清理重复内容和垃圾信息，提高训练数据的质量。

你可别说这操作不重要，上回某知名AI就在中文垃圾信息上翻车了，成了贻笑大方的典型。

这里他们描述了重复数据删除和启发式过滤两个算法的步骤

而在模型结构上，为了照顾这么大量的数据训练，Meta也做了不少改进，像是把训练数据由16位精度降低到8位，小扎新开源的，要带着套壳大模型追平？这样不但能节省储存空间还方便计算，并且有利于在移动端部署。

不过这个办法别的厂家也不是没想到，只不过降低精度有可能会增加误差，导致大模型性能降低，而Meta在这个过程中则是通过“行级量化”等世超听都没听过的算法，来拿捏这个误差的度，尽量做到两全其美。

除以之外，他们还放弃了用传统的强化学习算法来进行模型后处理，而是选择靠测试员的标注和监督，边反馈边迭代。

这么搞虽然比较费人，但能增加Llama3.1的可扩展性，也就是像后续要增加的图像、语音、视频识别等功能，生成的结果也会更加自然，跟人类认知对齐。

而其他厂商看到Llama3.1的开源大旗，也纷纷来投，尽管月活超7亿的厂家还得先申请，但到现在已经有25家企业都官宣要出基于Llama3.1的新模型。

这里面不但有亚马逊、戴尔这些大厂和Grop这样的新锐小厂，还有位居AI大幕背后的英伟达。。。

对，老黄也全面拥抱开源了，要把Llama3.1用到他家AIFoundry服务里。

说这么多，那这个进击的羊驼用起来是不是真这么牛逼哄哄呢？我们上手试了试，发现有些地方它做得确实可以，有些地方则也会翻车。

比如，在长文本阅读这个领域它有时候表现的就还可以，我们测试了让它回答十几轮问题之前的概念，发现它的确能在回答里反馈到当时给出的信息。

但面临没提供过的信息，他也会胡说八道。比如当我们提问他自己哪年发布的时候他也说不准，因为它的训练数据是截止去年年底的。

而在经典弱智吧训练方面，Llama3.1也会出现抽象的情况，这方面表现的真不如隔壁Gemini。

上图为Llama3.1，下图为Gemini

数据推理上，像用前几天考倒了众多AI的9.11和9.9谁大问题，他也搞不定。

Llama3.1的表现跟GPT-4o相比不能说云泥之别也只能说难兄难弟，甚至还装模作样的硬给解释他们的错误答案。

而隔壁Claude3-Sunnet就薄纱了这哥俩，瞧瞧人家这推理，怪不得人家这块比你俩得分高。

左边为Claude3-Sunnet，右边为GPT-4o-mini

那是不是这个Llama3.1啥啥都不行呢？话也不能这么说，虽然上面展示了一些翻车案例，但这倒也不能代表Llama3.1的真实实力就这样。

主要官方给的这个模型版本，相当于一个完全没优化的基本型号，毛坯房。而它的优势在于后期用户可以在它里面安排各种定制化操作，相当于把毛坯房翻修出花来，到时候才会展现这玩意的真正功力。

也就是说，Llama的意义在于开源后创作者们的调教和微操，这才是这类开源模型的独到之处。

不过这也不意味着Meta这波就一下翻身了，比OpenAI牛逼了。虽然开源的Llama3.1拓展性会很强，但毕竟它的底子其实也没有跟ChatGPT4o拉开太大差距。

而且Meta发力的时候人家OpenAI肯定也没闲着，ChatGPT5大概率会带来新的领先优势。

说到底，开源和闭源各有优势，但谁一定会颠覆谁那倒真不一定。

从Llama2到3到3.1，的确是开源党的节节胜利，但后续是不是跟扎克伯格在昨天访谈里说的一样，Llama会变成AI时代的Linux，目前来说其实很难定论，也有可能会变成iOS之于安卓这种并存的关系。

至于AGI之路是不是能靠开源的LLM模型走到，扎克伯格是挺看好的，但AI圈里的老熟人杨乐坤还是认为犹未可知。

不过对于这次Llama3.1取得的进步，他却表示：虽然成不了AGI，但这玩意确实有用啊。

撰文：纳西

编辑：江江&面线

美编：萱萱

图片、资料来源：

Meta,X,Github,Huggingface,lmsys,机器之心等