斯坦福团队抄袭清华大模型，事发后紧急删库跑路

斯坦福团队抄袭清华大模型，事发后紧急删库跑路 斯坦福的这项研究叫做 Llama3-V，是于5月29日新鲜发布，宣称只需要500美元就能训出一个SOTA多模态大模型，比GPT-4V、Gemini Ultra、Claude Opus都强。 然而有位细心的网友发现，咦？这“配方”怎么如此的熟悉？这不就是 MiniCPM-Llama3-V 2.5（出自清华系明星创业公司面壁智能）嘛。

倒反天罡，斯坦福团队被曝抄袭清华系大模型，已删库跑路

倒反天罡，斯坦福团队被曝抄袭清华系大模型，已删库跑路 套壳丑闻让斯坦福AI Lab主任怒了！抄袭团队2人甩锅1人失踪、前科经历被扒 斯坦福的这项研究叫做（已删库），是于5月29日新鲜发布，宣称只需要500美元就能训出一个SOTA多模态大模型，比GPT-4V、Gemini Ultra、Claude Opus都强。 Llama3-V的3位作者或许是拥有名校头衔加持，又有特斯拉、SpaceX的大厂相关背景，这个项目短短几天就受到了不小的关注。 甚至一度冲上了HuggingFace趋势榜首页 一个网友爆料Llama3-V抄袭MiniCPM-Llama3-V 2.55（出自清华系明星创业公司面壁智能），跑到面壁智能的GitHub主页提醒团队注意，并把关键证据都一一截图列举整理了下来，这才有了整个抄袭门的还原现场。 证据一，Llama3-V的模型架构和代码与MiniCPM-Llama3-V 2.5几乎完全相同 证据二，网友质疑Llama3-V作者是如何在MinicPM-Llama3-V2.5项目发布之前就使用上MinicPM-Llama3-V2.5分词器的。 证据三，Llama3-V作者随后无故删除了网友在Llama3-V页面上提交的质疑他们抄袭的问题。 甚至该模型还能识别清华简：MiniCPM-Llama3-V 2.5特有的功能之一是识别清华简，这是一种非常罕见、于战国时期写在竹子上的中国古代文字。训练图像是从最近出土的文物中扫描出来的，由MiniCPM-Llama3-V 2.5团队进行了标注，尚未公开发布。 今天，Llama3-V团队承认抄袭，其中两位来自斯坦福的本科生还跟另一位作者切割了。 最新致歉推文，由Siddharth Sharma（悉达多）和Aksh Garg（阿克什）发出。 不在其中、来自南加利福尼亚大学的Mustafa Aljadery（简称老穆）被指是主要过错方，并且自昨天起人就失踪了：被指跑路的老穆本人，X主页目前已经开启保护锁定状态，需要申请才能关注 斯坦福人工智能实验室主任Christopher Manning都下场开喷：这是典型的不承认自己错误！ 量子位：/ 标签: #大模型 #斯坦福 #抄袭 频道: @GodlyNews1 投稿: @GodlyNewsBot

斯坦福团队抄袭清华大模型，事发后紧急删库跑路

斯坦福团队抄袭清华大模型，事发后紧急删库跑路 斯坦福研究团队开发的新型多模态模型Llama3-V因声称性能可与GPT-4V、Gemini Ultra和Claude Opus相媲美，但模型尺寸仅为其一小部分而在网上迅速赢得了知名度。 然而，Llama3-V项目很快卷入争议，指控其剽窃了清华大学和Mianbi Intelligence开发的MiniCPM-Llama3-V 2.5模型的重要部分。 比较显示，Llama3-V的代码和架构几乎与MiniCPM-Llama3-V 2.5相同，包括使用相同的分词器和特殊符号，尽管声称参考了不同的模型。 Llama3-V的作者难以提供相似之处的合理解释，显示出对自己代码库的理解不足。 测试显示，Llama3-V和MiniCPM-Llama3-V 2.5在1000块古代中国竹简数据集上的错误重叠率达87%，进一步暗示了剽窃行为。 面对指控，Llama3-V的作者删除了他们在GitHub和Hugging Face上的项目存储库，但这并未解决争议。 人们发现，通过简单地更改变量名称，Llama3-V的检查点可以与MiniCPM-Llama3-V 2.5的代码库兼容。 剽窃指控引发了对斯坦福研究团队在Llama3-V项目中的道德、诚信和声誉的担忧。 在公众的强烈反对之后，Llama3-V的一位作者道歉，将剽窃归因于对队友穆斯塔法的盲目信任。 一名网友在GitHub上揭发此事后，斯坦福团队迅速删除了相关项目页面，试图掩盖事实。面壁智能团队随后展开调查，发现Llama3-V在多个未公开的特征上与MiniCPM-Llama3-V 2.5表现出高度相似，证实了抄袭行为。 来源：https://tech.ifeng.com/c/8a72Qha8VkJ

斯坦福AI团队抄袭国产大模型？清华系团队发文回应

斯坦福AI团队抄袭国产大模型？清华系团队发文回应 一开始团队面对抄袭质疑还嘴硬否认，只承认使用了MiniCPM-Llama3-V的分词器，后来证据越来越多不仅架构和代码高度相似，而且被发现作者曾在Hugging Face导入MiniCPM-V的代码，然后改名成Llama3-V。最绝的是Llama3-V连国产AI模型的“胎记”都抄走了，跟MiniCPM-V一样能识别清华战国竹简“清华简”，而且连出错的样例、在高斯扰动验证后的正确和错误表现方面都高度相似。而基于非公开训练数据的清华简识别能力，是面壁MiniCPM团队耗时数月、从卷帙浩繁的清华简中逐字扫描并逐一数据标注，融入模型中的。面对铁一般的证据，Llama3-V团队终于立正挨打，一套道歉流程行云流水，火速删库、发文致歉外加撇清关系。其中来自斯坦福计算机科学专业的两位作者澄清说他们并未参与代码工作，所有代码都是毕业于南加州大学的Mustafa Aljadery负责的，他一直没交出训练代码。▲Llama3-V作者：Siddharth Sharma（左）、Aksh Garg（中）、Mustafa Aljadery（右）这样看来，Llama3-V团队并不能算严格意义上的斯坦福团队，不过因为此事声誉受损的斯坦福大学至今没有采取任何公开措施。面壁智能团队的回应很有涵养。今日，面壁智能联合创始人兼CEO李大海在朋友圈回应说“深表遗憾”，这也是一种“受到国际团队认可的方式”，并呼吁大家共建开放、合作、有信任的社区环境。一、网友细数五大证据，作者删库跑路、不打自招Llama3-V的模型代码与MiniCPM-Llama3-V 2.5高度相似，同时其项目页面没有出现任何与MiniCPM-Llama3-V 2.5相关的声明。公开的基准测试结果显示，Llama3-V在所有基准测试中优于GPT-3.5，在多个基准测试中优于GPT-4，且模型尺寸是GPT-4V的1/100，预训练成本为500美元。这也使得该模型一经就冲上Hugging Face首页。但当细心网友发现Llama3-V疑似“套壳”面壁智能此前发布的开源多模态模型MiniCPM-Llama3-V 2.5，在评论区发表评论后，Llama3-V项目作者最初否认抄袭，并称他们的项目开始时间先于MiniCPM-Llama3-V 2.5发布，只是使用了MiniCPM-Llama3-V 2.5的分词器。当网友抛出三大事实质疑后，Llama3-V的做法是不回应直接删除网友评论。昨日下午，网友在MiniCPM-V页面下将事情经过全部公开，并公开@面壁智能让其项目团队投诉。当日晚间，面壁智能研发人员发布推文，其验证结果也印证了网友的说法，Llama3-V与MiniCPM-Llama3-V 2.5高度相似。同时公开喊话Llama3-V研发团队：“鉴于这些结果，我们担心很难用巧合来解释这种不寻常的相似性。我们希望作者能够对这个问题给出官方解释，相信这对开源社区的共同利益很重要。”以下就是Llama3-V被质疑抄袭MiniCPM-Llama3-V 2.5的五大证据：1、Llama3-V的代码是对MiniCPM-Llama3-V 2.5的重新格式化，其模型行为检查点的噪声版本高度相似。其中，Llama3-V只是对代码进行了重新格式化和变量重命名，包括但不限于图像切片、标记器、重采样器和数据加载。面壁智能研发人员也证实，Llama3-V有点类似于MiniCPM-Llama3-V 2.5的噪声版本。2、起初网友在Llama3-V的Hugging Face页面质疑抄袭时，其作者回应称只是使用了其分词器，并且项目开始时间比MiniCPM-Llama3-V 2.5更早。当网友进一步询问如何在MiniCPM-Llama3-V 2.5发布前使用其分词器，作者给出的答案是使用了MiniCPM-V-2的分词器，但很明显，两个版本的分词器完全不同。3、Llama3-V提供的代码无法与Hugging Face的检查点兼容。但网友将Llama3-V模型权重中的变量名称更改为MiniCPM-Llama3-V 2.5的名称后，该模型可以与MiniCPM-V代码一起运行。面壁智能的研发人员的调查结果也显示：更改参数名称后，可以使用MiniCPM-Llama3-V 2.5的代码和config.json运行Llama3-V。4、Llama3-V项目的作者害怕面对质疑，删除了质疑者在Llama3-V上提交的质疑他们偷窃的问题。并且目前Llama3-V项目已经从开源网站中下架删除。5、在一些未公开的实验性特征上，比如在内部私有数据上训练的古汉字清华竹简，Llama3-V表现出与MiniCPM-Llama3-V 2.5高度相似的推理结果。这些训练图像是最近从出土文物中扫描并由面壁智能的团队注释的，尚未公开发布。例如下图中的几个古汉字识别：MiniCPM-Llama3-V 2.5中未公开的WebAgent功能上，在框选内容大小时，Llama3-V与之犯了相同的错误：二、仨作者内讧，Aljadery全权负责写代码，但拿不出训练代码昨天，Aksh Garg、Siddharth Sharma在外媒Medium上公开回应：“非常感谢在评论中指出（Llama3-V）与之前研究相似之处的人。我们意识到我们的架构与OpenBMB的‘MiniCPM-Llama3-V2.5：手机上的GPT-4V级多模态大模型’非常相似，他们在实现方面领先于我们。为了尊重作者，我们删除了原始模型。”Aljadery没有出现在声明中。▲Aksh Garg、Siddharth Sharma的回应声明Mustafa曾在南加州大学从事深度学习研究，并在麻省理工学院从事并行计算研究，拥有南加州大学计算机科学学士学位和计算神经科学理学士学位，目前其没有在公司任职。Garg在社交平台X中发布的致歉声明中提到，Mustafa全权负责编写Llama3-V的代码，他与Sharma因忙于全职工作并未参与代码编写。在听取了Mustafa描述的Idefics、SigLip等架构扩展创新、查看了最新论文后，他们二人就在未被告知该项目与开源代码关系的情况下，帮助Mustafa在外媒Medium和社交平台X对Llama3-V进行了宣传推广。在昨天看到关于Llama3-V的抄袭指控后，Garg和Sharma就与Mustafa进行了原创性讨论，并要求他提供训练代码，但目前未收到任何相关证据。目前，Aljadery的Twitter账号显示“只有获得批准的关注者才能看到”。三、首个基于Llama-3构建的多模态大模型此前，Garg在介绍Llama3-V的文章中提到，Llama3-V是首个基于Llama-3构建的多模态大模型，训练费用不到500美元。并且与多模态大模型Llava相比，Llama3-V性能提升了10-20%。除了MMMU之外，Llama3-V在所有指标上的表现都与大小为其100倍的闭源模型非常相近。他们所做的就是让Llama 3能理解视觉信息。Llama3-V采用SigLIP模型获取输入图像并将其嵌入到一系列块嵌入中。然后，这些嵌入通过投影块与文本标记对齐，投影块应用两个自注意力块将文本和视觉嵌入放在同一平面上。最后，投影块中的视觉标记就被添加到文本标记前面，并将联合表示传递给Llama 3。结语：Llama3-V套壳实锤，或损害开源社区健康发展不论从网友的质疑还是Llama3-V作者的回应来看，该模型套壳MiniCPM-Llama3-V2.5已经基本实锤，高度相似的代码以及部分基于面壁智能内部未公开训练数据训练的功能，都证明这两大模型的相似性。目前来看，对于大模型“套壳”没有明确的界定，但开源大模型以及开源社区的构建本意是促进技术的共享和交流，加速AI的发展，但如果以这种直接“套壳”、更改变量的形式使用，或许会与这一发展愿景背道而驰，损害开源社区的健康发展。 ... PC版： 手机版：

斯坦福AI团队回应抄袭面壁智能：Llama3-V模型将悉数撤下

斯坦福AI团队回应抄袭面壁智能：Llama3-V模型将悉数撤下 随后，被网友发现，该项目使用的模型结构和代码与面壁智能不久前发布的 MiniCPM-Llama3-V2.5 惊人相似，仅修改了部分变量名。6月2日深夜，面壁智能团队证实，该斯坦福大模型项目与MiniCPM一样，可以识别出“清华简”战国古文字，“不仅对得一模一样、连错得都一模一样”。且这一古文字数据为研究团队花费数月从清华简上逐字扫描并人工标注得来，并未对外公开，证实抄袭事实。今早北京时间凌晨1点27分，此事件迎来终局：斯坦福 Llama3-V 团队的两位作者 Siddharth Sharma 和 Aksh Garg在 X 上就这一学术不端行为对面壁 MiniCPM 团队正式道歉， 表示会将 Llama3-V 模型悉数撤下。相似内容的道歉信，已于几小时前被作者发出一次，但被迅速删除。 ... PC版： 手机版：

斯坦福爆火Llama3-V竟抄袭中国开源项目 作者火速删库

斯坦福爆火Llama3-V竟抄袭中国开源项目 作者火速删库 5 月 29 日，一个来自斯坦福的研究团队发布了一个能够“改变现状”的产品：Llama3-V，号称只要 500 美元（约为人民币 3650 元），就能基于 Llama3 训练出一个超强的多模态模型，效果与 GPT4-V、Gemini Ultra 、 Claude Opus 多模态性能相当，但模型小 100 倍。Github 项目链接： 项目链接： 在Twitter上迅速爆火，浏览量突破 30 万，转发超过 300 次，还冲上了“ HuggingFace Trending ”Top 5。但是没发布两天，Llama3-V 就遭遇了重重质疑。有人指出，Llama3-V 项目中有一大部分似乎窃取了清华大学自然语言处理实验室与面壁智能合作开发的多模态模型 MiniCPM-Llama3-V 2.5。MiniCPM-V 是面向图文理解的端侧多模态大模型系列。MiniCPM-Llama3-V 2.5 是该系列的最新版本。其多模态综合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用闭源模型。OCR 能力及指令跟随能力进一步提升，并支持超过 30 种语言的多模态交互。这样的优秀性能，不仅让 MiniCPM-Llama3-V 2.5 成为受大家推崇的模型，或许也成为了 Llama3-V 的“模仿”对象。项目地址： 用户 JosephusCheung 在项目的评论区中提出问题，Llama3-V 是否在未提及的情况下使用 openbmb/MiniCPM-Llama3-V-2.5 进行了训练。而作者回复表明，Llama3-V 使用了 MiniCPM-Llama3-V-2.5 的预训练 tokenizer，并且是在它发布前就开始了这项工作。这样的解释明显出现了时间错位，加重了大家的怀疑。细扒其中猫腻此外，还有一位名为 Magic Yang 的网友也产生了质疑，他对于这两个模型的相似性也有着更深的洞察。他首先在 Llama3-V 的 GitHub 项目 Issue 中发布了他的疑问，没想到 Llama3-V 的作者们很快就删除了质疑帖。在这个 Issue 中，他首先提出，Llama3-V 与 MiniCPM- Llama3-V 2.5 具有相同的模型结构和配置文件，只是变量名不同。Llama3-V 的代码几乎完全照抄 MiniCPM-Llama3-V 2.5，只是进行了一些格式上的修改，包括但不限于分割图像、tokenizer、重采样器和数据加载部分。Llama3-V 的作者立马回复，称 Llama3-V 在架构上参考的是 LLaVA-UHD，并列出了在 ViT 和 LLM 选择上与 Mini CPM-Llama3-V 2.5 的差异。但 Magic Yang 发现，相比 LLaVA-UHD 所用的方法，Llama3-V 与 MiniCPM-Llama3-V 2.5 可谓是一模一样。特别是 Llama3-V 使用了与 MiniCPM-Llama3-V 2.5 相同的，连 MiniCPM-Llama3-V 2.5 新定义的特殊符号都“抄”上了。于是，他向作者提问，为什么 Llama3-V 在 MiniCPM-Llama3-V2.5 项目发布之前，就未卜先知似的拿到了其 tokenizer？这似乎算是追问了作者对 JosephusCheung 的回答。Llama3-V 作者回答称，他参考了 MiniCPM-V-2 的 tokenizer（ 采用了新的 tokenizer 和原来版本中的特殊符号，因此 Llama3-V 的代码中保留了这个符号，但 Llama3-V 与 MiniCPM-Llama3-V2.5 是完全不同。但事实是，MiniCPM-V-2 的 tokenizer 与 MinicPM-Llama3-V2.5 完全不同，在 Hugging Face 里是两个文件，文件大小也完全不同，也不包含 Llama3-V 所用到的与 Llama 3 有关的 tokenizer。Magic Yang 还发现了 Llama3-V 的作者在 Hugging Face 上传项目时，直接导入了 MiniCPM-Llama3-V 2.5 的代码，后来才把一些文件里的名称替换为 Llama3-V。于是，Llama3-V 的作者的作者再次回复，称 Magic Yang 的指控大错特错。首先，想要运行 HuggingFace Transformer，需要给模型写配置文件，但是他们恰好发现 MiniCPM 的配置能用，因此，他们使用了与 MiniCPM 相同的配置。其二，Llama3-V 的模型架构 SigLIP 的灵感来源于 Idéfics ，作者之前也提到，Llama3-V 模型架构参考的 LLaVA-UHD 同样如此，并且在视觉代码方面，他们借鉴了 Idéfics ，并非照搬 MiniCPM。更令人惊讶的是， Magic Yang 发现 Llama3-V 项目的作者似乎并不理解他们自己的代码，或许也不明白搬来的 MiniCPM-Llama3-V 2.5 架构中的细节。感知器重采样器（Perceiver Resampler）使用的是单层交叉注意力，而非双层自注意力。然而，下图中的 Llama3-V 技术博客中的描述明显存在误解。Llama3-V 的技术博客Llama3-V 的代码此外，SigLIP 的 Sigmoid 激活功能并不用于训练多模态大语言模型，而是仅在 SigLIP 的预训练过程中使用。看来，作者对于自己的代码理解还是有很大偏差的。Llama3-V 的技术博客Llama3-V 的代码对于清华 NLP 实验室和面壁智能团队特别采集和标注，从未对外公开的专有数据，Llama3-V 的表现也非常出色。“清华简”是一种非常特殊且罕见的中国战国时期的古文字，而美国模型 Llama3-V 不仅认识中国古文字，在认错字的时候，也和 MiniCPM-Llama3-V 2.5 一模一样。有网友用 1000 张竹简图像对同类模型进行了测试，正常情况下，每两个模型之间的重叠应该为 0，而 Llama3-V 和 MiniCPM-Llama3-V 2.5 之间的重叠高达 87%。识别错误的结果 Llama3-V 和 MiniCPM-Llama3-V 2.5 也有高达 182 个重合。删库？也不管用在重重质疑之后，Llama3-V 的作者行动了。此前宣传 Llama3-V 的Twitter内容流已不可见。他还隐藏了 HuggingFace 的仓库。Magic Yang 再次发难，问 Llama3-V 的作者为何在 HuggingFace 上将模型设为私密？作者称，设为私密是为了修复 Llama3-V 的推理功能，MiniCPM 的配置与 Llama3-V 不兼容，当时 HuggingFace Transformers 无法正确地加载模型，为了避免下载模型的用户运行失败，他将进行一些修复。同样地，Llama3-V 的 GitHub 项目主页也显示为“404”。GitHub 地址： Magic Yang 与对话已经随着项目页面 404 而隐藏。但 Magic Yang 已将对话截图评论在了 MiniCPM-V 的 GitHub 页面。据网友反馈，当运行 Llama3-V 时，作者提供的代码无法与 HuggingFace 上的 checkpoint 兼容。然而，当把 Llama3-V 模型权重中的变量名更改为 MiniCPM-Llama3-V 2.5 后，就能成功运行。如果在 MiniCPM-Llama3-V 2.5 的 checkpoint 上添加一个简单的高斯噪声，就会得到一个在各个测试集上的表现都与 Llama3-V 极为相似的模型。有网友上传了 Llama3-V 删库前的检查点，大家可以自行测试验证。检查点链接：“抄袭”源于对队友 Mustafa 的盲信。 ... PC版： 手机版：