Google 和 OpenAI 都未建立 AI 的护城河

Google 和 OpenAI 都未建立 AI 的护城河 根据一份泄露的内部备忘录，Google 声称它和 OpenAI 都未建立 AI 的护城河，开源 AI 将会是最后的赢家。该文件被匿名人士公布在 Discord 上。文件称，在 Google 和 OpenAI 展开 AI 军备竞赛的同时，代表开源的第三方正在吞食其阵地。Google 和 OpenAI 的模型在质量上仍然稍微占优，但差距正在快速缩小。开源模型更快，定制性更高，隐私保护更好，同等规模时性能更强。130 亿参数的开源模型训练只需要 100 美元，而 Google 和 OpenAI 有 5400 亿参数的模型训练要花费 1000 万美元。大语言模型不存在什么秘方，参数太多的大模型反而造成拖累，最佳的模型是能快速迭代的。Google 备忘录认为关注开源模型的开发有助于避免重新发明轮子。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

【谷歌、OpenAI 都没有护城河】一位谷歌内部的研究人员认为，围绕 Meta 的 LLaMA 等开源模型，整个社区正在迅速构建

【谷歌、OpenAI 都没有护城河】一位谷歌内部的研究人员认为，围绕 Meta 的 LLaMA 等开源模型，整个社区正在迅速构建与 OpenAI、谷歌大模型能力类似的模型，而且开源模型的迭代速度更快，可定制性更强，更有私密性…「当免费的、不受限制的替代品质量相当时，人们不会为受限制的模型付费。」 #抽屉IT

OpenAI核心资料被盗 Google承认“主动攻击” 成本仅150元？

OpenAI核心资料被盗 Google承认“主动攻击” 成本仅150元？ 这一发现犹如一记重磅炸弹，在AI界引发了强烈的震动。谁也没想到，号称“CloseAI”的OpenAI竟然也会被窃取模型机密的一天。更恐怖的是，这种模型窃取技术还非常简单。只要你拥有ChatGPT这类封闭大模型的API，就可以通过API接口，发送不到2000次经过精心设计好的查询，然后去分析它生成的输出，就可以逐步推断出模型的内部结构和参数。虽然这种方法不能完全复制原始模型，但已经足以窃取它的部分能力。而且这种攻击非常高效，不需要用太多的成本，就可以拿到模型的关键信息。按照Google的调用次数来看，仅仅只需要不到20美金（约合150元人民币）的成本，就可以完成模型窃取的操作，并且这种方法同样适用于GPT-3.5和GPT-4。换句话说，就是不费吹灰之力获得了一个大模型理解自然语言的能力，还能用来构建一个性能相近的“山寨版”模型，既省事又省钱。反观OpenAI，被竞争对手低价破解模型机密，真的坐得住吗？坐不住。截至目前，OpenAI已经修改了模型API，有心人想复现Google的操作是不可能了。值得一提的是，Google研究团队中就有一位OpenAI研究员。不过作为正经安全研究，他们在提取模型最后一层参数之前就已经征得OpenAI同意，而在攻击完成后，也删除了所有相关数据。但不管怎么说，Google的实验足以证明一点，哪怕OpenAI紧闭大门也并不保险。大模型全面受挫，敲响开闭源警钟既然封闭的大模型都无法幸免，开源的大模型又会如何呢？基于这一点，Google针对不同规模和结构的开源模型进行了一系列实验，比如GPT-2的不同版本和LLaMA系列模型。要知道，GPT-2是一个开源的预训练语言模型，分为小型模型(117M)和大型模型(345M)两种。而在对GPT-2的攻击中，Google通过分析模型的最终隐藏激活向量并执行SVD发现，尽管GPT-2小型模型理论上具有768个隐藏单元，但实际上只有757个有效的隐藏单元在起作用。这也就意味着GPT-2可能在实际使用中，并没有充分利用其设计的全部能力，或者在训练过程中某些维度的重要性不如其他维度。此外，Google还研究了模型中的一种叫做“归一化层”的东西对于攻击的影响。一般来说，归一化层的作用是让训练更加稳定，从而提升模型的表现。然而Google发现，即使模型加入了归一化层，攻击的效果也并没有减弱。这说明即使考虑了现代深度学习模型中常见的复杂结构，攻击方法也依然有效。为了进一步验证攻击的范围，Google还将目光瞄向更大、更复杂的LLaMA模型。它是由Meta发布的大语言系列模型，完整的名字是Large Language Model Meta AI，可以说LLaMA是目前全球最活跃的AI开源社区。通过对LLaMA系列模型进行攻击，Google成功地从这些模型中提取了嵌入投影层的维度信息。值得注意的是，即使在这些模型采用先进的技术，如混合精度训练和量化，攻击依然能够成功，这表明攻击方法的普适性和鲁棒性。可以说，Google给闭源和开源两大领域同时敲响了一记警钟。AI三巨头对线，2024谁输谁赢？从严格意义上来讲，OpenAI、Google、Meta就是争夺AGI圣杯的三大巨头。其中，Meta和OpenAI完全相反，前者走的是开源路线，而后者主要打造闭源模型。但Google和他们完全不一样，闭源与开源双线作战，闭源对抗OpenAI，开源对抗Meta。在人工智能领域里，Google可以算是开源大模型的鼻祖。今天几乎所有的大语言模型，都是基于Google在2017年发布的Transformer论文，这篇论文颠覆了整个自然语言处理领域的研究范式。而市面上最早的一批开源AI模型，也是Google率先发布的BERT和T5。然而，随着OpenAI在2022年底发布闭源模型ChatGPT，Google也开始调整其策略，逐渐转向闭源模型。这一转变使得开源大模型的领导地位被Meta的LLaMA所取代，后来又有法国的开源大模型公司Mistra AI走红，尤其是其MoE模型备受行业追捧。直到Google今年再次发布开源大模型Gemma，已经比Meta的LLaMA整整晚了一年。很显然，Gemma这次的发布标志着Google在大模型战略上的巨大转变，这一举动意味着Google开始兼顾开源和闭源的新策略，而其背后的目的也是显而易见。众所周知，当前大模型领域的竞争已经形成了一种错综复杂的打压链格局。其中OpenAI牢牢站在链条顶端，而它所打压的恰恰是那些有潜力追赶上它的竞争对手，比如Google和Anthropic。而Mistral作为一股新兴力量，估计也正在被列入其中。如果非要排列一个打压链条，那可以归结为：OpenAI→Google &Anthropic &Mistral→ Meta→其它大模型公司。可以说，无论在闭源还是开源领域，Google都没能确立绝对的领先地位。所以这也不难理解，为什么有专业人士会认为，Google选择在此时重返开源赛场，是被迫的。Google之所以开源主打的是性能最强大的小规模模型，就是希望脚踢Meta和Mistral；而闭源主打的是规模大的效果最好的大模型，就是为了希望尽快追上OpenAI。但无论如何，在未来的对垒格局里，Google已经先发制人，成功将压力给到OpenAI和Meta。这一次，关键在于OpenAI和Meta该如何应对。 ... PC版： 手机版：

RT 归藏所有人都在问这个问题：“如果每个人都可以使用相同的模型，护城河是什么？”

RT 归藏 所有人都在问这个问题：“如果每个人都可以使用相同的模型，护城河是什么？” 技术从来没有护城河 除非你是 SpaceX 或台积电 Stripe、Uber、Airbnb都建立在每个人都可以使用的相同技术之上 Flo Crivello: Never understood this ubiquitous question to AI startups. “What’s the moat if everyone has access to the same models?” Tech has never been the moat Unless you’re SpaceX or TSMC Stripe, Uber, Airbnb all were built on the same tech that everyone had access to

Jim Keller：NVIDIA的CUDA不是护城河，是沼泽！

Jim Keller：NVIDIA的CUDA不是护城河，是沼泽！ “CUDA 是沼泽，而不是护城河，”凯勒在 X 帖子中写道。“x86 也是一片沼泽。[…] CUDA 并不漂亮。它是通过一次堆积一件东西来构建的。” 确实，就像x86一样，CUDA在保持软件和硬件向后兼容性的同时逐渐增加了功能。这使得英伟达的平台完整且向后兼容，但它影响了性能并使程序开发变得更加困难。同时，很多开源软件开发框架可以比CUDA更高效地使用。“基本上没有人编写 CUDA，”Jim Keller在后续帖子中写道。“如果你确实编写 CUDA，它可能不会很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的。”甚至NVIDIA本身也有不完全依赖 CUDA 的工具。例如，Triton Inference Server 是 NVIDIA 的一款开源工具，可简化 AI 模型的大规模部署，支持 TensorFlow、PyTorch 和 ONNX 等框架。Triton 还提供模型版本控制、多模型服务和并发模型执行等功能，以优化 GPU 和 CPU 资源的利用率。NVIDIA的TensorRT是一种高性能深度学习推理优化器和运行时库，可加速NVIDIA GPU上的深度学习推理。TensorRT 从各种框架（例如 TensorFlow 和 PyTorch）中获取经过训练的模型，并对其进行优化以进行部署，从而减少延迟并提高图像分类、对象检测和自然语言处理等实时应用程序的吞吐量。但是，尽管像Arm、CUDA 和x86这样的架构可能会被认为是“沼泽”，因为它们的演进速度相对较慢、必须向后兼容并且体积庞大，但这些平台也不像GPGPU这样分散，这可能根本不是一件坏事。目前尚不清楚 Jim Keller 对 AMD 的ROCm和英特尔的OneAPI有何看法，但很明显，尽管他花了很多年时间设计 x86 架构，但他并不迷恋其未来前景。他的言论还暗示，尽管他曾在世界上一些最大的芯片制造商工作过一段时间，包括苹果、英特尔、AMD、博通（现在是Tenstorrent）等公司，但我们可能不会在NVIDIA的名单上看到他的名字。 ... PC版： 手机版：

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了 怎么理解这个动作的重要性呢？你可以粗暴的理解为：这有点像现在正在训练更强大的GPT-5的OpenAI，把GPT3的低参数版给开源了。（前几天Sam Altman被问过这个问题，你们是否会在未来把GPT3开源，他没有直接回答。现在看来Google针对性很强啊。）（X上一张有意思的图）根据Google官方对Gemma的介绍，它的基本信息如下：Gemma是Google开源的一个大型语言模型，而非像Gemini那样是多模态的，它基于与Gemini相同的技术构建，但完全公开并允许商用授权。Gemma模型有两个主要版本，分别是Gemma 7B（70亿参数）和Gemma 2B（20亿参数）。这些模型在大规模的数据集上进行了训练，数据集包含了以英语为主的网络文档、数学数据以及代码数据，总量达到了6万亿tokens。Gemma模型的特点包括：架构细节：Gemma模型具有不同的参数规模，Gemma-2B有18层，d_model为2048，而Gemma-7B有28层，d_model为3072。这些模型还具有不同的前馈隐藏维度、头数和KV头数，以及词汇量。新技术：Gemma采用了一些新技术，如Multi-Query Attention、RoPE Embeddings、GeGLU激活函数以及Normalizer Location，这些技术有助于提高模型的性能。评测结果：Google官方宣称Gemma模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。开源情况：Gemma模型遵循一个自定义的开源协议，允许商业使用。发布完，Jeff Dean就对这个系列模型划了重点：Gemma-7B模型在涵盖通用语言理解、推理、数学和编程的8项基准测试中，性能超过了广泛使用的Llama-2 7B和13B模型。它在数学/科学和编程相关任务上，通常也超过了Mistral 7B模型的性能。Gemma-2B IT和Gemma-7B IT这两个经过指令调整的模型版本，在基于人类偏好的安全评估中，都优于Mistral-7B v0.2指令模型。特别是Gemma-7B IT模型在遵循指令方面也表现更佳。（有意思的是，在Google晒出的成绩对比中，阿里的千问背后的模型Qwen系列表现也很亮眼）我们也发布了一个负责任的生成性人工智能工具包（Responsible Generative AI Toolkit），它为负责任地使用像Gemma模型这样的开放模型提供了资源，包括：关于设定安全政策、安全调整、安全分类器和模型评估的指导。学习可解释性工具（Learning Interpretability Tool，简称LIT），用于调查Gemma的行为并解决潜在问题。一种构建具有最小样本量的强大安全分类器的方法论。我们发布了两个版本的模型权重：Gemma 2B和Gemma 7B。每个版本都提供了预训练和指令调整的变体。我们为所有主要框架提供了推理和监督式微调（SFT）的工具链：通过原生Keras 3.0支持的JAX、PyTorch和TensorFlow。提供了即用型的Colab和Kaggle笔记本，以及与流行的工具如Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM的集成，使得开始使用Gemma变得简单。预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行，并且可以轻松部署在Vertex AI和Google Kubernetes Engine（GKE）上。在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIA GPU和Google Cloud TPUs。使用条款允许所有规模的组织负责任地进行商业使用和分发。可以看到Jeff Dean和Google这次都十分强调开源模型的安全性和具体的实打实的配套设施和举措。这似乎也直至被诟病Close AI且被外界质疑安全性保障的OpenAI。现在，憋坏了的Google正式四面开战了。未来它将用Gemma对抗Llama，用Gemini对抗GPT。无论是开源还是闭源，竞争越来越焦灼了。相关文章:Google发布了一对开源人工智能模型Gemma 2B和7B 适用于较小的任务 ... PC版： 手机版：