美国斯坦福大学AI团队抄袭中国大模型

核心证据来自2300多年前的清华简

2024-06-05

清华简 图片来源清华大学公众号

记者 童蔚

美国斯坦福大学一个AI团队主导的开源大模型,被证实套壳抄袭了国内清华系明星创业公司面壁智能的开源模型。目前,该团队已公开道歉,并将该项目在相关平台上的库一并删除。

这一事件昨天在国内外社交媒体上引发热议,#斯坦福抄袭中国大模型#和#斯坦福团队道歉#,当天下午分别冲上微博热搜第2和第5位。

斯坦福大学AI团队

抄袭中国大模型

5月29日,一个来自斯坦福大学的AI团队在网上发表文章《Llama3-V: Matching GPT4-V with a 100x Smaller Model and 500 Dollars》,并开始广而告之:成功训练出一个SOTA多模态模型Llama3-V,性能比GPT4-V、Gemini Ultra、Claude Opus更强,但模型要小100倍,且训练成本仅需500美元(折合人民币约3622元)。后三个大模型,都是全球范围知名的多模态“巨无霸”。

由于团队成员拥有斯坦福大学(其中两人是斯坦福大学本科生)、特斯拉、SpaceX、亚马逊等亮眼背景,Llama3-V第一时间被推到了聚光灯下,登上开发者社区Hugging Face(抱抱脸)首页,引发众多开发者关注。

很快,有用户在Hugging Face以及海外社交平台X上提出质疑:Llama3-V是否套壳MiniCPM-Llama3-V 2.5?后者为面壁智能5月20日推出的开源端侧多模态模型。

舆论迅速发酵。经过一些开发者的比较,两者在模型结构、代码、配置文件等方面完全相同,只是进行了一些重新格式化,并将部分变量重新命名。

面对质疑,斯坦福大学团队一开始选择“辩解”:只是使用了MiniCPM-Llama3-V 2.5的tokenizer(分词器,自然语言处理NLP中的一个关键组件,负责将长篇文本内容拆解成一个个独立的单词或子词),并且宣称在它发布前就已开始这项工作。

两位斯坦福大学学生公开道歉

6月2日晚,面壁智能团队确认抄袭事实。次日,面壁智能首席科学家刘知远在知乎上表示:“已经比较确信Llama3-V是对我们MiniCPM-Llama3-V 2.5套壳。”

他还表示:“人工智能的飞速发展离不开全球算法、数据与模型的开源共享。我们这次开源的MiniCPM-Llama3-V 2.5就用到了最新的Llama3作为语言模型基座。而开源共享的基石是对开源协议的遵守,对其他贡献者的信任,对前人成果的尊重和致敬。”

CEO李大海也在朋友圈发文:“对这件事深表遗憾。一方面感慨这也是一种受到国际团队认可的方式,另一方面呼吁大家共建开放、合作、有信任的社区环境。”

昨天,Llama3-V团队的其中两位成员Aksh Garg(阿克什)和Siddharth Sharma(悉达多),也就是那两位斯坦福大学本科生,已在社交平台上向面壁智能团队道歉:“我们向作者道歉,并对自己没有努力验证这项工作的原创性感到失望。我们对所发生的事情承担全部责任,并已撤下Llama3-V,再次致歉。”

同时,Aksh Garg解释Siddharth Sharma和自己主要是负责推广,编写代码的是Mustafa Aljadery(穆斯塔法),而他目前已经联系不上。

战国时期的清华简成为核心证据

在朋友圈发文中,李大海给出确认抄袭的一大理由是:经过测试,面壁智能团队发现Llama3-V不仅能识别清华简的战国古文字,而且在犯错的地方也和MiniCPM-Llama3-V 2.5如出一辙。

公开资料显示,清华简是清华大学2008年7月收藏的一批战国竹简(年代约为公元前305±30年),属于中国学术史上先秦文献的重大发现。此后,清华大学成立专门研究团队,先后在已故著名历史学家、考古学家、古文字学家李学勤及黄德宽教授的带领下开展简文整理研究,以复原这批幸免于焚书坑儒与秦汉战火的重要历史“拼图”。

这些年里,研究者们在一间不足20平方米的小屋里,用一面42英寸显示屏读简,整理成果以一年一辑的速度出版公布,至今已出版13辑。诸子思想、历史文化、天文历法、律法术数、医学方技……中国传统文献中的经史子集均有发现,竹简的内容逐渐清晰起来。

据李大海解释,此次识别清华简的训练数据,采集和标注均由清华NLP实验室和面壁智能团队完成。“耗时数月,从卷帙浩繁的清华简中一个字一个字扫描下来,并逐一进行数据标注,融合进模型中,且数据尚未对外公开。”

此外,Llama3-V、MiniCPM-Llama3-V 2.5两个模型在高斯扰动验证(一种用于验证模型相似性的方法)后,在正确和错误表现方面都高度相似。

巧的是,6月2日,清华大学在官方微信公众号上转载了新华社《瞭望》新闻周刊刊发的特稿《破译千年竹简 求索文明密码》,回忆这2500位先秦“客人”来到清华的故事。

文中提到,清华简整理研究工作的难点之一,就是“认字”。“清华简是战国时期楚国人所写,其中有些字没有流传下来,有的字形是首次出现,即便将一些字辨识出来,其字义的理解也需要下大功夫去研究,因为这些竹简文献只有极少数可与传世文献对照参证。因此,‘考字释词’耗费巨大精力,把字词探究清楚了,做到文通字顺,才能真正了解文献记载了什么内容,进而判断其价值。”