各大AI模型训练成本大比拼:谷歌Gemini Ultra高达1.9亿美元

各大AI模型训练成本大比拼:谷歌GeminiUltra高达1.9亿美元训练成本是如何确定的?斯坦福大学与研究公司EpochAI合作,根据云计算租金估算了AI模型的训练成本。双方所分析的关键因素包括模型的训练时长、硬件的利用率和训练硬件的价值。尽管许多人猜测,训练AI模型的成本变得越来越高,但缺乏全面的数据来支持这些说法。而斯坦福大学发布的《2024年AI指数报告》正是支持这些说法的罕见来源之一。不断膨胀的训练成本下表展示了自2017年以来,经通胀调整后的主要AI模型的培训成本:去年,OpenAI的GPT-4培训成本估计为7840万美元,远高于谷歌PaLM(540B)的训练成本。谷歌PaLM较GPT-4仅早一年推出,但训练成本为1240万美元。相比之下,2017年开发的早期AI模型Transformer的训练成本为930美元。该模型在塑造当前所使用的许多大型语言模型的体系结构方面起着基础性作用。谷歌的AI模型GeminiUltra的训练成更高,达到了惊人的1.91亿美元。截至2024年初,该模型在几个指标上都超过了GPT-4,最引人注目的是在“大规模多任务语言理解”(MMLU)基准测试中胜出。这一基准是衡量大型语言模型能力的重要标尺。例如,它以评估57个学科领域的知识和解决问题的熟练程度而闻名。训练未来的AI模型鉴于这些挑战,AI公司正在寻找新的解决方案来训练语言模型,以应对不断上涨的成本。其中的方法有多种,比如创建用于执行特定任务的较小模型,而其他一些公司正在试验创建自家的合成数据来“投喂”AI系统。但到目前为止,这方面还没有取得明确的突破。例如,使用合成数据的AI模型有时会“胡言乱语”,引发所谓的“模型崩溃”。...PC版:https://www.cnbeta.com.tw/articles/soft/1433692.htm手机版:https://m.cnbeta.com.tw/view/1433692.htm

相关推荐

封面图片

2017-2023 年的 AI 模型的训练成本

2017-2023年的AI模型的训练成本$930-Transformer(谷歌)$3288-BERT-Large(谷歌)$16万-RoBERTaLarge(Meta)$132万-LaMDA(谷歌)$393万-Llama270B(Meta)$432万-GPT-3175B(OpenAI)$640万-Megatron-TuringNLG530B(微软/英伟达)$1238万-PaLM540B(谷歌)$7835万-GPT-41800B(OpenAI)$1.914亿-GeminiUltra(谷歌)关注频道@TestFlightCN

封面图片

一图对比Gemini和GPT-4 地表最强AI易主了吗?

一图对比Gemini和GPT-4地表最强AI易主了吗?模型发布后,无论是谷歌方面的官方表态,还是自媒体的评测,都将Gemini和GPT-4进行逐一比对,有的更直言“Gemini打爆GPT-4”。谷歌表示,在根据行业标准进行的一系列测试中,GeminiUltra表现超过了OpenAI的GPT-4。具体而言,从自然图像、音视频理解到数学推理,GeminiUltra在32种学术基准中,有30种的性能表现超过了目前的先进水平。在MMLU(大规模多任务语言理解)方面,GeminiUltra得分高达90.0%,首次超越人类专家。Gemini真的能碾压GPT-4吗?资料搜集和对比后不难发现,Gemini的发布夹带了不少水分。GeminiUltra和GPT-4究竟能否真的一较高下,还需等到GeminiUltra正式上线应用后,才能亲自测一测。事实上,谷歌想赶超OpenAI的野心从未停止过。2023年2月,谷歌推出由LaMDA驱动的对话式生成AI聊天机器人Bard。但很快,网友发现在谷歌官方公布的Bard案例中,出现了错误回答。谷歌股价也在消息发酵当天开盘后大跌逾5%,微软一度涨逾3%。不知道此次的Gemini,能否真的为谷歌带来逆风翻盘吗?...PC版:https://www.cnbeta.com.tw/articles/soft/1403045.htm手机版:https://m.cnbeta.com.tw/view/1403045.htm

封面图片

OnePlus 和 Oppo 智能手机计划今年晚些时候集成谷歌 Gemini Ultra 模型

OnePlus和Oppo智能手机计划今年晚些时候集成谷歌GeminiUltra模型OnePlus和OPPO宣布计划将谷歌的人工智能模型Gemini1.0Ultra集成到他们的智能手机中,并表示计划今年晚些时候在智能手机上发布由GeminiUltra支持的人工智能功能。目前,谷歌Gemini模型共有三个版本:Nano、Pro和Ultra,例如Pixel8系列智能手机就搭载了GeminiNano。三星GalaxyS24系列搭载GeminiPro。Oppo和OnePlus也将加入其中,但与Pixel和三星不同的是,它们将搭载Gemini1.0Ultra,这将是最强大的版本。此外,搭载Gemini后,将计划发布基于GeminiUltra的人工智能功能,例如新闻摘要、录音机摘要和AI工具箱。还暗示了其他生成式人工智能功能,例如社交媒体平台的文本和图像生成工具。然而与可以在设备上运行的GeminiNano不同,Ultra运行在谷歌的服务器上,因此OPPO和OnePlus智能手机可能需要互联网连接才能使用人工智能功能。——

封面图片

碾压GPT-4 谷歌DeepMind CEO自曝下一代大模型将与AlphaGo合体

碾压GPT-4谷歌DeepMindCEO自曝下一代大模型将与AlphaGo合体谷歌DeepMindCEOHassabis全新爆料:全新Gemini模型将结合进AlphaGo和大语言模型,成本预计是数千万美元,甚至数亿。谷歌,是真的破釜沉舟了。传说中合并了AlphaGo和类GPT-4大模型的Gemini,终于要来了吗?PC版:https://www.cnbeta.com.tw/articles/soft/1367587.htm手机版:https://m.cnbeta.com.tw/view/1367587.htm

封面图片

中信证券:谷歌 Gemini 模型发布,AI 进入多模态时代

中信证券:谷歌Gemini模型发布,AI进入多模态时代中信证券研报指出,近日,谷歌宣布发布新一代大模型Gemini,再次引发市场对人工智能产业的持续关注。Gemini模型作为谷歌以及全球范围内最先发布的多模态模型,在性能上是第一个在MMLU上超越人类专家的模型。模型根据体量大小分为GeminiUltra、GeminiPro、以及GeminiNano三个版本,支持在云端以及边缘测运行。同时谷歌同步发布最新版本的计算芯片TPUv5p,相较上一代TPUv4性价比提升2.3倍。我们认为,多模态Gemini模型的正式发布,一方面可以拓宽应用场景的拓展,另一方面能够带来算力需求的持续升级。我们持续看好后续AI产业的前景,认为后续GPT-5等模型的发布亦将带来更多的催化。

封面图片

赶在谷歌Gemini发布前 OpenAI要抢发“多模态”大模型

赶在谷歌Gemini发布前OpenAI要抢发“多模态”大模型然而,OpenAI又要来截胡了。据媒体最新报道,OpenAI正在积极努力将多模态功能(类似于Gemini预计提供的功能)纳入GPT-4,目标赶在Gemini发布前推出多模态大型语言模型(MLLM),即代号为Gobi的下一代大型语言模型,以击败谷歌并保持领先地位。随着ChatGPT在各领域展现出非凡能力,多模态大型语言模型近来也成为了研究的热点,它利用强大的大型语言模型(LLM)作为“大脑”,可以执行各种多模态任务。MLLM展现出了传统方法所不具备的能力,比如能够根据图像创作故事、视觉知识问答、无需OCR(光学字符识别)的数学推理等,从自然语言理解到图像解释等,提供更广泛的信息处理能力。报道称,OpenAI早在3月份发布GPT-4时就预先展示了这些功能,但除了一家名为“BeMyEyes”的公司外,没有向其他公司开放。后者主要为有视力障碍或失明的人开发移动应用程序。六个月后,OpenAI正准备在更大范围内推出被称为GPT-Vision的功能。为什么OpenAI花了这么长时间才推出这项功能?报道称主要是担心新的视觉功能会被不良行为者利用,比如通过自动解决验证码来冒充人类,或者通过面部识别来跟踪人们。但OpenAI的工程师们似乎接近于解决围绕这项新技术的法律担忧。谷歌也面临这个问题,当该公司被问及正在采取哪些措施来防止Gemini滥用时,谷歌发言人指出,该公司在7月份做出了一系列承诺,以确保其所有产品能够负责任地开发。然而,考虑到谷歌拥有与文本、图像、视频和音频相关的专有数据(包括来自搜索和YouTube等平台的数据),该行业向多模态模型的发展可能会有利于发挥谷歌的优势。一位使用过早期版本的人说,与现有的模型相比,Gemini似乎已经产生了更少的错误答案。OpenAI首席执行官SamAltman在最近的各种采访中暗示,GPT-5还没有出现,但他们计划对GPT-4进行各种增强,新的增强模型可能是其中之一。报道称,OpenAI似乎还没有开始训练Gobi,所以现在就说它最终会成为GPT-5还为时过早。在上周接受《连线》杂志采访时,谷歌CEO皮查伊表达了他对谷歌目前在AI领域地位的信心,并认可技术进步的持久性,以及他们在平衡创新与责任方面深思熟虑的战略。无论如何,这场竞赛就相当于人工智能版的iPhone与Android。人们正屏息以待Gemini的到来,它将揭示谷歌和OpenAI之间的差距到底有多大。风险提示及免责条款市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。...PC版:https://www.cnbeta.com.tw/articles/soft/1384867.htm手机版:https://m.cnbeta.com.tw/view/1384867.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人