苹果推出300亿参数多模态大模型 全面转向生成式AI

苹果推出300亿参数多模态大模型 全面转向生成式AI 就在近日，苹果公司研发团队发布了一篇论文《MM1： Methods， Analysis & Insights from Multimodal LLM Pre-training》，首次公布了多模态大模型MM1，展示了该公司在AI方面的进展与实力。据悉，MM1最高参数量为300亿，该模型支持增强的上下文学习和多图像推理，在一些多模态基准测试中有较好表现。研究人员使用这些模型进行实验，找出影响大模型表现的关键因素。有趣的是，图像分辨率和图像标签数量比视觉语言连接器的影响更大，不同的预训练数据集会显著影响模型的有效性。MM1的独特之处在于其庞大的规模和架构创新，包括密集的模型和混合专家模型。这些模型证明了研究人员方法的有效性，将大规模预训练与战略性数据选择相结合，以增强模型的学习能力。研发团队称，MM1不仅在预训练指标中是“最先进的”，并且在一系列已建立的多模态基准测试中，经过微调后也保持了“有竞争力的”性能。MM1可以支持增强的上下文学习和多图像推理，使得少数样本的思维链提示成为可能。然而，目前MM1的整体性能还没有完全超过谷歌的Gemini和OpenAI的GPT-4，虽然MM1可能还不是绝对的领导者，但它仍然是苹果在AI方面的一次重大飞跃。与此同时，苹果公司还出手收购了AI初创公司DarwinAI。DarwinAI以创建更小、更快的AI系统见长，这是实现设备上高效处理的关键因素。收购完成后，DarwinAI的网站和社交媒体账户已悄然下线。据悉，数十名DarwinAI员工已经加入了苹果的AI部门，作为交易的一部分，滑铁卢大学的AI研究员Alexander Wong已加入苹果，担任AI团队的总监。 ... PC版： 手机版：

谷歌发布最新多模态模型 Gemini

谷歌发布最新多模态模型 Gemini Gemini能够归纳并流畅地理解、操作处理包括文本、代码、音频、图像和视频在内的信息。 据说宣传视频有造假嫌疑，在图像识别方面，最好的个人感觉还是GPT4，好在 Gemini 可以在Bard中使用，目前Bard也还没有收费。Gemini目前是白嫖党最好的选择了。

支付宝发布多模态医疗大模型

支付宝发布多模态医疗大模型 7 月 5 日，在 2024 世界人工智能大会，支付宝多模态医疗大模型正式亮相，成为国内首批多模态医疗大模型之一。基于蚂蚁百灵的多模态能力，该模型可实现直接理解并训练音频、视频、图、文等多模态数据。测试期间，对诊疗报告、医学药品、毛发状况等识别准确率达 90% 以上，中英文医疗考试、基准测试达到或超过 GPT4 水准。会上，支付宝还推出了与大模型配套的可信一体机与云解决方案，并与全国 20 家头部三甲医院、医疗管理机构，联合发起 AI 医疗共建计划，探索大模型创新应用。