Meta人工智能主管杨立昆：大型语言模型不会达到人类智能水平

Meta人工智能主管杨立昆：大型语言模型不会达到人类智能水平Meta的人工智能主管表示，为ChatGPT等生成式人工智能产品提供动力的大型语言模型永远无法实现像人类一样的推理和计划能力，他专注于一种激进的替代方法，即在机器中创造“超级智能”。该公司首席人工智能科学家杨立昆表示，LLM“对逻辑的理解非常有限……不理解物理世界，没有持久的记忆，不能按照任何合理的定义进行推理，也不能进行层次化的规划”。杨立昆说，LLMs的这种进化是肤浅和有限的，只有当人类工程师介入并根据这些信息进行训练时，模型才会学习，而不是像人类那样自然地得出结论。“在大多数人看来，这当然是推理，但主要是利用从大量训练数据中积累的知识。(LLM)尽管有局限性，但非常有用。”——（）

谷歌的 1000 种语言的人工智能模型迈出关键一步

谷歌的1000种语言的人工智能模型迈出关键一步去年11月，谷歌宣布其计划创建一个支持世界上1000种最常用语言的语言模型，同时还披露了其通用语音模型（USM）。周一，谷歌披露了USM的更多信息，称其是创建该语言模型迈出的“关键性的第一步”。谷歌将USM描述为“一个最先进的语音模型系列”，它有20亿个参数，经过了1200万小时的语音和超过300种语言的280亿个句子的训练。USM已经被YouTube用来生成封闭式字幕，支持超过100种语言，并将作为基础来建立一个更加广泛的系统。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

Google计划建立巨型人工智能语言模型 支持全球1000种最常用的语言

Google计划建立巨型人工智能语言模型支持全球1000种最常用的语言语言和人工智能可以说一直是Google产品的核心，但最近机器学习的进步--特别是强大的、多功能的"大型语言模型"或LLM的开发--使这些领域得到了新的重视。Google已经开始将这些语言模型整合到Google搜索等产品中。但语言模型有许多缺陷，包括倾向于转述有害的社会偏见，如种族主义和仇外心理，以及无法以人类的敏感性来解析语言。在自己的研究人员发表了概述这些问题的论文后，Google自己也臭名昭著地解雇了他们。不过，这些模型能够完成许多任务，从语言生成（如OpenAI的GPT-3）到翻译（见Meta的"不遗漏语言"工作）。Google的"1000种语言计划"并不专注于任何特定的功能，而是要创建一个具有世界上各种语言的巨大知识广度的单一系统。Google人工智能研究副总裁ZoubinGhahramani说，该公司认为，创建一个如此规模的模型将使其更容易将各种人工智能功能带到在线空间和人工智能训练数据集中表现不佳的语言（也被称为"低资源语言"）。"语言就像生物体，它们是相互演化而来的，它们有某些相似之处。通过让一个单一的模型接触并训练许多不同的语言，我们在低资源语言上得到更好的表现，"Ghahramani说。"我们达到1000种语言的方法不是通过建立1000种不同的模型。语言就像生物体，它们是相互进化的，它们有某些相似之处。而且，当我们将一种新语言的数据纳入我们的1000种语言模型，并获得将[它所学到的东西]从一种高资源语言转化为低资源语言的能力时，我们可以在我们所谓的零点学习中找到一些相当惊人的进展。"过去的研究显示了这种方法的有效性，而Google计划中的模型的规模可以提供比过去的工作更多的收益。这种大规模的项目已经成为科技公司主导人工智能研究雄心的典型，并利用了这些公司在获得大量计算能力和训练数据方面的独特优势。一个类似的项目是Facebook母公司Meta正在尝试建立一个"通用语音翻译器"。Google表示，为了支持1000种语言模型的工作，它将资助收集低资源语言的数据，包括音频记录和书面文本。该公司表示，它没有直接计划在哪里应用这个模型的功能--只是预计它将在Google的产品中具有一系列用途，从Google翻译到YouTube字幕等等。"同样的语言模型可以将机器人的命令变成代码；它可以解决数学问题；它也可以进行翻译。关于大型语言模型和一般的语言研究，真正有趣的事情之一是它们可以做很多很多不同的任务，"Ghahramani说。"语言模型真正有趣的地方在于它们正在成为大量知识的储存库，通过以不同的方式探测它们，你可以获得不同的有用功能。"Google在一个新的人工智能产品展示会上宣布了1000种语言模型。该公司还分享了关于文本到视频模型的新研究，一个名为Wordcraft的人工智能写作助手原型，以及对其人工智能测试厨房应用程序的更新，该应用程序允许用户有限地访问正在开发的人工智能模型，如其文本到图像模型Imagen。...PC版：https://www.cnbeta.com.tw/articles/soft/1331651.htm手机版：https://m.cnbeta.com.tw/view/1331651.htm

人工智能军备竞赛白热化：谷歌最新AI大语言模型数据量扩充5倍

人工智能军备竞赛白热化：谷歌最新AI大语言模型数据量扩充5倍令牌指的是单词串，这是训练大语言模型的重要基础，因为这可以教给模型如何预测字符串中可能出现的下一个单词。之前版本的PaLM发布于2022年，当时使用的令牌为7800亿个。虽然谷歌很希望展示其人工智能技术的实力，以及嵌入搜索、电子邮件、字处理和电子表格后的效果，但该公司却不愿发布其训练数据的规模和其他细节。微软支持的OpenAI也对其最新的GPT-4大语言模型的细节信息保密。这些公司表示，之所以不披露这些信息，是出于商业竞争考虑。谷歌和OpenAI都在努力吸引想要用聊天机器人代替传统搜索引擎，从而直接获取答案的用户。但随着人工智能军备竞赛日趋白热化，相关研究人员也呼吁企业加大透明度。自从发布PaLM2之后，谷歌一直表示新的模型比之前的大语言模型更小，这就意味着该公司的技术效率得以提升，但却可以完成更加复杂的任务。内部文件显示，PaLM2基于3400亿个参数训练——这项指标可以说明该模型的复杂程度。最初的PaLM则基于5400亿个参数训练。目前，谷歌尚未对此置评。谷歌在一篇关于PaLM2的博文中表示，该模型使用了一种名为“计算机优化扩张”的新技术。这就让大语言“更高效、整体性能更好，包括加快推理速度、减少参数调用和降低服务成本。”在宣布PaLM2时，谷歌证实了此前的媒体报道，计该模型针对100种语言进行训练，可以执行更广泛的任务。它已经被用于25项功能和产品，包括该公司的实验性聊天机器人Bard。按照从小到大的规模划分，该模型共有4种，分别是壁虎（Gecko）、水獭（Otter）、野牛（Bison）和独角兽（Unicorn）。根据公开披露的信息，PaLM2比现有的任何模型都更加强大。Facebook在2月份宣布的的LLaMA大语言模型采用1.4万亿个令牌。OpenAI上一次披露GPT-3的训练规模时表示，它当时基于3000亿个令牌。OpenAI今年3月发布GPT-4时表示，它在许多专业测试中展示出“与人类媲美的表现”。LAMDA是谷歌两年前推出的一个对话型大语言模型，在今年2月还与Bard一同对外宣传。该模型基于1.5万亿个令牌训练。随着新的人工智能应用快速进入主流，围绕底层技术的争议也越来越激烈。谷歌高级研究科学家艾尔·迈赫迪·艾尔·麦哈麦迪（ElMahdiElMhamdi）于今年2月辞职，主要原因就是人工智能技术缺乏透明度。本周二，OpenAICEO山姆·阿尔特曼（SamAltman）出席美国国会针对隐私和技术举行的听证会，他也认为需要设立一套新的制度来应对人工智能的潜在问题。“对于一种全新的技术，我们需要一套全新的框架。”阿尔特曼说，“当然，像我们这样的公司应当为我们推出的工具承担许多责任。”...PC版：https://www.cnbeta.com.tw/articles/soft/1360049.htm手机版：https://m.cnbeta.com.tw/view/1360049.htm

Meta计划于7月推出新的人工智能语言模型Llama 3

据路透社援引TheInformation报道，Meta公司计划于7月发布最新版本的人工智能大语言模型Llama3，该模型将更好地回答用户提出的有争议的问题。据报道，Meta还计划在未来几周内任命一名内部人员来监督语气和安全培训，作为其努力的一部分，使模型的反应更加细致。via匿名标签:#Meta#Llama#AI频道:@GodlyNews1投稿:@GodlyNewsBot

Meta 推出用于支持聊天机器人的最新人工智能模型 Llama 3

Meta推出用于支持聊天机器人的最新人工智能模型Llama3Meta推出了其强大的新版本Llama人工智能模型，这是该公司最新的努力，旨在与OpenAI和谷歌等公司的类似技术保持同步。周四发布的“Llama3”是去年夏天Meta发布的人工智能模型的升级版。Meta正在使用Llama3来运行自己的应用内人工智能助手MetaAI，该助手存在于Facebook、WhatsApp和Meta的Ray-Ban智能眼镜等多款产品中。该公司表示，MetaAI助手也将在周四为用户更新。