苹果推出300亿参数多模态大模型 全面转向生成式AI

苹果推出300亿参数多模态大模型全面转向生成式AI就在近日，苹果公司研发团队发布了一篇论文《MM1：Methods，Analysis&InsightsfromMultimodalLLMPre-training》，首次公布了多模态大模型MM1，展示了该公司在AI方面的进展与实力。据悉，MM1最高参数量为300亿，该模型支持增强的上下文学习和多图像推理，在一些多模态基准测试中有较好表现。研究人员使用这些模型进行实验，找出影响大模型表现的关键因素。有趣的是，图像分辨率和图像标签数量比视觉语言连接器的影响更大，不同的预训练数据集会显著影响模型的有效性。MM1的独特之处在于其庞大的规模和架构创新，包括密集的模型和混合专家模型。这些模型证明了研究人员方法的有效性，将大规模预训练与战略性数据选择相结合，以增强模型的学习能力。研发团队称，MM1不仅在预训练指标中是“最先进的”，并且在一系列已建立的多模态基准测试中，经过微调后也保持了“有竞争力的”性能。MM1可以支持增强的上下文学习和多图像推理，使得少数样本的思维链提示成为可能。然而，目前MM1的整体性能还没有完全超过谷歌的Gemini和OpenAI的GPT-4，虽然MM1可能还不是绝对的领导者，但它仍然是苹果在AI方面的一次重大飞跃。与此同时，苹果公司还出手收购了AI初创公司DarwinAI。DarwinAI以创建更小、更快的AI系统见长，这是实现设备上高效处理的关键因素。收购完成后，DarwinAI的网站和社交媒体账户已悄然下线。据悉，数十名DarwinAI员工已经加入了苹果的AI部门，作为交易的一部分，滑铁卢大学的AI研究员AlexanderWong已加入苹果，担任AI团队的总监。...PC版：https://www.cnbeta.com.tw/articles/soft/1424021.htm手机版：https://m.cnbeta.com.tw/view/1424021.htm

Command-R：多语言、高性能、可定制：350亿参数的开源语言模型

：多语言、高性能、可定制：350亿参数的开源语言模型-C4AICommand-R是一个350亿参数的高性能生成式模型，由Cohere和CohereForAI联合开发。-Command-R是一个大型语言模型，其开放权重针对多种用例进行了优化，包括推理、摘要和问答。-Command-R具有多语言生成能力，在10种语言上进行了评估，并具有高性能的RAG(Retrieval-AugmentedGeneration)能力。-该模型的许可证为CC-BY-NC，使用时还需遵守C4AI的可接受使用政策。-Command-R的上下文长度为128K，可以使用HuggingFace的Transformers库进行调用和使用。-C4AICommand-R的发布展示了Cohere在开发大型语言模型方面的实力。350亿参数的模型规模处于业界领先水平，有望在多个应用领域取得突破。-Command-R的开放权重和对多种用例的优化，为开发者和研究者提供了灵活性和可定制性。这有助于促进模型的应用和创新。-多语言生成能力和高性能RAG能力的结合，使Command-R在跨语言任务和知识密集型任务上具有独特优势。这可能推动自然语言处理技术在全球范围内的普及和应用。-CC-BY-NC许可证和C4AI的可接受使用政策体现了Cohere对于负责任AI开发的重视。在开放模型的同时，设置合理的使用边界，有助于防范潜在的滥用风险。-基于HuggingFace生态系统发布模型，降低了用户的使用门槛。这种与主流开源社区的融合，有利于Command-R的推广和迭代。-尽管Command-R的开放权重提供了灵活性，但对于缺乏计算资源的中小型开发者而言，350亿参数的模型规模可能难以承受。这可能加剧AI开发的门槛和不平等。-Command-R在多语言任务上的出色表现，可能促使更多开发者将其应用于跨文化交流和全球化业务。但过度依赖单一模型，可能忽视了不同语言和文化的独特性。-开放模型虽然有利于创新，但也可能加剧恶意使用和滥用的风险。即使有使用政策的约束，在实践中难以对每一个应用进行有效监管。这需要技术和制度的双重发力。

李彦宏：大模型 “大力出奇迹” 更多在 0 到 1 探索阶段，再往后玩法就反过来了

李彦宏：大模型“大力出奇迹”更多在0到1探索阶段，再往后玩法就反过来了今日，百度创始人、董事长兼首席执行官李彦宏发言指出，大模型领域的“大力出奇迹”更多指的是从0到1探索的过程。再往后走，这个game就不是这个玩法了，更多的走向它的反面。什么叫反面呢？李彦宏指出，“这跟所有的商业竞争规律都是一样的，谁的效率高谁胜出。你可以融资，我也可以融资，最后我用10块钱做出来100分的效果，你用10块钱做出来120分的效果，久而久之你就赢了。或者说，为了做出100分的效果来，我用100块钱，你用80块钱，你就赢了。”（新浪科技）