苹果开放 AI 研究成果,发布多模态 LLM 模型 Ferret
苹果开放AI研究成果,发布多模态LLM模型Ferret苹果公司工作的研究人员和来自哥伦比亚大学的研究人员在10月份悄然推出了开源多模态LLM,这是一个名为"Ferret"的研究版本,可以使用图像区域进行查询。Ferret于10月份在Github上发布,在很大程度上没有引起人们的注意,也没有发布任何公开发布或宣传操作。Ferret的代码于10月30日与Ferret-Bench一起发布,并于12月14日推出了检查点版本。该模型可以分析图像上绘制的区域,确定其中对用户查询有用的元素,并将其识别出来,在检测到的元素周围绘制一个边界框。然后,它就可以将识别出的元素用作查询的一部分,并以典型的方式作出响应。从Github发布的信息中可以发现一个有趣的现象,Reddit的r/Apple发现Ferret是"在8个A100GPU和80GB内存上进行训练的"。鉴于苹果对NVIDIAGPU支持的历史,这被认为是对GPU生产商的罕见认可。投稿:@TNSubmbot频道:@TestFlightCN