关于Kimi:

关于Kimi:Q:参数量是不是很大?A:目前参数2000亿左右。Q:kimi算力侧支持?A:用的字节火山引擎,目前还是英伟达为主,无论A100、H100、H800,公司很难找英伟达大规模采购。国内云厂商买卡有优势,而且有储备。公司不太可能私有化一个数据中心,供应链资源很难开拓,而且成本很高。预训练需要1万多张卡,公有云,分配多少显卡不会关注,是以A100作为标准去衡量。训练的数据量大概4-5T,全是中文。B端用户不能接入API其实更多是并发处理问题,和算力也有一定关系。云服务运维方面有一些跟不上了。Q:国产芯片怎么样?A:生态做的不好。训练卡,开发各种代码、函数调用、英伟达迭代12个版本,国内很难做出一个生态库去对标英伟达。华为:性能对标A800,软件不好,完全不兼容CUDA。要找一个工程团队给我们改代码,工程成本太高了。Q:同海外模型相比优劣势?A:在中文处理能力上,公司kimi领先,语料采集、标注上的把握,我们有天然的优势。如果把语言扩大到其他语言,可能没有什么优势。交互的拟人性,kimi整体上会比openAI落后10%左右。逻辑推理能力也会落后。云计算资源如果匹配上的,0.5-1年公司可以追上去。但目前在GPU方面是卡脖子的,差距会越拉越大。

相关推荐

封面图片

华为高管:升腾人工智能算力性能已超过英伟达A100

华为高管:升腾人工智能算力性能已超过英伟达A100近期举行的2024世界半导体大会暨南京国际半导体博览会的一场分论坛上,江苏鲲鹏·升腾生态创新中心首席运营官王陶透露,升腾集群是国内唯一已完成训练千亿参数大模型的技术路线,性能已经超过了英伟达A100。王陶表示,中国大模型里面,有近50%选择了升腾技术路线。与英伟达A100相比,升腾人工智能芯片在训练效率层面最高是英伟达的1.1倍。尤其在训练MetaLlama、BloomGPT等模型方面,升腾人工智能算力训练效率大大优于英伟达A100,甚至10倍领先其他国产友商。——

封面图片

智境云创:已将 Kimi 大模型、英伟达 Omniverse 平台的唇语音技术应用在元享智能云平台

智境云创:已将Kimi大模型、英伟达Omniverse平台的唇语音技术应用在元享智能云平台从天娱数科子公司智境云创官微获悉,智境云创将Kimi大模型应用在元享智能云平台,助力该平台为用户提供对语境复杂理解,长时间连贯性问答以及多语言交流服务,赋能数字人更加深入对话和理解用户情感。此外,元享智能云平台结合英伟达Omniverse平台中的Audio2Face唇语音融合技术让数字人在整体面部动画和跨多语言的唇同步方面获得大幅质量改进。智境云创表示,元享智能云平台将来可以为多个领域如文旅、教育、医疗、娱乐、零售、传媒等千行百业提供更智能化的应用场景。

封面图片

符合出口管制规定,英伟达向中国客户提供替代芯片H800

符合出口管制规定,英伟达向中国客户提供替代芯片H800英伟达表示,已将其旗舰产品修改为可合法出口中国的版本。美国监管机构去年出台规定,以国家安全为由,禁止英伟达向中国客户销售两款最先进的芯片A100和更新的H100。这类芯片对于开发生成式人工智能技术至关重要。英伟达此前表示,将在中国提供一种新的先进芯片A800,该芯片符合美国新的出口管制规定,可替代被新规限制出口的A100。除了A100替代产品外,H100替代研发近期也有新进展。英伟达于当地时间周二表示,已经开发出类似的H100芯片,用于出口中国。该公司发言人表示,这款名为H800的新芯片正被阿里巴巴、百度和腾讯等中国科技公司的云计算部门使用。围绕人工智能芯片的规则要求对那些同时具备强大计算能力和芯片间高数据传输速率的芯片进行测试。在大量数据上训练人工智能模型时,传输速度非常重要,因为更慢的传输速率意味着更多的训练时间。消息人士称,H800主要是将芯片间数据传输速率降低至旗舰机型H100的一半左右。不过英伟达发言人拒绝透露针对中国市场的H800与H100有何不同,只是说“我们的800系列产品完全符合出口管制规定。”()投稿:@ZaiHuabot频道:@TestFlightCN

封面图片

ChatGPT带火AI芯片 英伟达顶级显卡eBay售价超4万美元

ChatGPT带火AI芯片英伟达顶级显卡eBay售价超4万美元据悉,去年发布的H100是英伟达最新的旗舰AI芯片,接替了A100,A100是一款被称为AI应用“主力军”的芯片,售价约为1万美元。根据英伟达的说法,与A100相比,H100的能效提高了3.5倍。开发人员正在使用H100来构建所谓的大型语言模型(LLMs),这是OpenAI的ChatGPT等AI应用的核心。这些AI模型对算力的要求极高。因此,训练它们,尤其是像GPT这样的大型模型,需要数百颗高端英伟达GPU协同工作。正因如此,那些正进行AI竞赛的科技巨头们不惜斥巨资购买AI芯片。例如,微软就斥资数亿美元购买了数万颗英伟达A100芯片,以帮助打造ChatGPT。另外,据媒体最新报道,“钢铁侠”埃隆·马斯克在美国内华达州成立了一家名为X.AI的人工智能公司,旨在与OpenAI展开竞争。据悉,为了这个新项目,马斯克已从英伟达购买了数千个高性能GPU处理器。英伟达还提供一款拥有8颗GPU的超级计算机,名为DGX。今年早些时候,该公司宣布了新服务,允许企业以每月3.7万美元的价格租用DGX计算机。在这项服务下,几乎任何企业都可以通过云租赁来使用这些强大但成本昂贵的设备。英伟达控制着AI芯片的绝大部分市场。随着ChatGPT在全球范围内掀起AI热潮,英伟达股价“狂飙”:最新报267.58美元,今年已经累计上涨近90%。      ...PC版:https://www.cnbeta.com.tw/articles/soft/1354929.htm手机版:https://m.cnbeta.com.tw/view/1354929.htm

封面图片

英伟达 GPU 价格暴涨,供应短缺影响 AI 大模型训练

英伟达GPU价格暴涨,供应短缺影响AI大模型训练作为AI大模型训练的底层架构基石,GPU的价格随之水涨船高。有代理商透露,英伟达的A100价格从2022年12月份开始上涨,截至2023年4月上半月,5个月价格累计涨幅达到37.5%;A800价格从2022年12月份开始上涨,截至2023年4月上半月,5个月价格累计涨幅达20.0%。且交货周期也被拉长,之前拿货周期大约为一个月左右,现在基本都得三个月,甚至更长。据透露,国内可用于训练AI大模型的A100大约有4万-5万个,供应相当吃紧,一些云服务厂商已严格限制内部使用这些先进芯片,以将其保留至需要强力运算的任务。投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

业内人士透露英伟达A100、H100等供不应求 但部分厂商将优先供应

业内人士透露英伟达A100、H100等供不应求但部分厂商将优先供应多家公司加入生成式人工智能研发和应用的赛道,也就增加了对相关服务器的需求,芯片的需求也随之增加。在此前的报道中,外媒就提到,ChatGPT等生成式人工智能的研发及应用,拉升了对英伟达A100、A800、H100等的需求。而业内人士也透露,英伟达A100、A800、H100等人工智能服务器处理器一直供不应求,但谷歌、微软及其他云服务提供商将优先供应。英伟达AI服务器处理器供不应求,从他们增加订单中也能看出端倪。上周有相关媒体在报道中称,英伟达的急单,已经推升了台积电7/6nm和5/4nm这两大制程工艺家族的产能利用率,其中5/4nm工艺的产能已接近饱和。在当时的报道中,外媒还提到有业内人士透露,英伟达A100、A800、H100、A800的大量订单,预计将贯穿今年全年。...PC版:https://www.cnbeta.com.tw/articles/soft/1362891.htm手机版:https://m.cnbeta.com.tw/view/1362891.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人