当虹科技发布多模态视听大模型 BlackEye

当虹科技发布多模态视听大模型BlackEye据当虹科技消息，在4月27日下午召开的“2024中关村论坛・超高清视听科技创新发展论坛”上，当虹科技与北京经济技术开发区联合发布BlackEye大模型基座及应用场景。BlackEye融合了多种深度神经网络组件，包括Transformer、Diffusion等组件，通过文本、图像、视音频、三维模型等多种模态的编码、解码、多模态潜空间对齐、多模态语言推理及生成等技术，实现不同模态信息之间的推理和预测生成。

多模态大模型 Monkey 发布升级版

多模态大模型Monkey发布升级版3月23日，记者从华中科技大学获悉，由该校联合武汉金山办公软件有限公司研究人员开发的Monkey多模态大模型已被人工智能领域国际顶级会议CVPR2024接收，且该大模型曾在大模型开源开放评测体系——“司南”多模态大模型排行榜中名列开源模型榜首。Monkey在文档领域的“升级版”——文字多模态大模型TextMonkey也于近日发布。

国产中文大语言模型“天河天元”发布 由天河超算训练

国产中文大语言模型“天河天元”发布由天河超算训练国家超算天津中心在大会上发布了“天河E级智能计算开放创新平台”和“天河天元大模型”。据介绍，中文大语言模型的数据集非常稀缺。国家超算天津中心搜集整理了网页数据、各种开源训练数据、中文小说数据、古文数据、百科数据、新闻数据，以及专业领域的中医、医药、问诊、法律等多种数据集。训练数据集总token数达到350B，最终训练打造出了自己的中文语言大模型——天河天元大模型。据悉，“天河E级智能计算开放创新平台”将带来突破百亿亿次的跨模态的超级计算算力，支撑传统的科学工程计算，并服务智能混合计算，打造全方位的算力赋能创新和数字经济高质量发展载体。...PC版：https://www.cnbeta.com.tw/articles/soft/1360799.htm手机版：https://m.cnbeta.com.tw/view/1360799.htm

海天瑞声：大模型向多模态发展后 将会产生更多新型数据需求

海天瑞声：大模型向多模态发展后将会产生更多新型数据需求海天瑞声近日接受机构调研时表示，大模型向多模态发展后，将会产生更多的新型数据需求。例如文生图的多模态大模型，通过文字输入生成对应图片，这就需要机器理解文字语义的同时将理解的关键词与图片的关键标签进行映射，通过对齐两种独立模态关键特征的方式，实现按指令的创作，以此完成学习训练过程。因此，当大模型向多模态能力维度拓展时，高质量多模态训练数据集的持续学习训练的重要性将更加凸显，多模态的发展将推动数据服务行业进入更大的增量空间。

中信证券：谷歌 Gemini 模型发布，AI 进入多模态时代

中信证券：谷歌Gemini模型发布，AI进入多模态时代中信证券研报指出，近日，谷歌宣布发布新一代大模型Gemini，再次引发市场对人工智能产业的持续关注。Gemini模型作为谷歌以及全球范围内最先发布的多模态模型，在性能上是第一个在MMLU上超越人类专家的模型。模型根据体量大小分为GeminiUltra、GeminiPro、以及GeminiNano三个版本，支持在云端以及边缘测运行。同时谷歌同步发布最新版本的计算芯片TPUv5p，相较上一代TPUv4性价比提升2.3倍。我们认为，多模态Gemini模型的正式发布，一方面可以拓宽应用场景的拓展，另一方面能够带来算力需求的持续升级。我们持续看好后续AI产业的前景，认为后续GPT-5等模型的发布亦将带来更多的催化。

【xAI发布支持视觉的多模态AI模型Grok-1.5V】

【xAI发布支持视觉的多模态AI模型Grok-1.5V】2024年04月13日05点09分老不正经报道，马斯克旗下人工智能公司xAI宣布推出首个多模态AI模型Grok-1.5V。除了强大的文本处理能力，Grok还能够处理各种视觉信息，包括文档、图表、屏幕截图和照片等。在多个领域的基准测试中，Grok-1.5V的表现均可与现有的前沿多模态模型相媲美。尤其在xAI新推出的RealWorldQA基准测试中，Grok在现实世界空间理解能力上超越了同类模型。RealWorldQA数据集包含700多张图像，旨在评估多模态模型对物理世界的基本理解能力。Grok-1.5将很快向早期测试人员和现有用户开放。