ChatGPT 有多烧钱?大模型训练一次 200-1200 万美元
ChatGPT有多烧钱?大模型训练一次200-1200万美元ChatGPT风靡全球后,科技巨头们纷纷入局,生成式AI其背后以大模型为基础的人工智能成为业界投入的方向。所谓“大模型”,通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。然而,训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT需要多少算力》估算,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM(大型语言模型),训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算,其对应芯片需求为3万多片英伟达A100GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。如果将当前的ChatGPT部署到谷歌进行的每次搜索中,需要512820.51台A100HGX服务器和总共4102568个A100GPU,这些服务器和网络的总成本仅资本支出就超过1000亿美元。来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人