关于Kimi:
关于Kimi:Q:参数量是不是很大?A:目前参数2000亿左右。Q:kimi算力侧支持?A:用的字节火山引擎,目前还是英伟达为主,无论A100、H100、H800,公司很难找英伟达大规模采购。国内云厂商买卡有优势,而且有储备。公司不太可能私有化一个数据中心,供应链资源很难开拓,而且成本很高。预训练需要1万多张卡,公有云,分配多少显卡不会关注,是以A100作为标准去衡量。训练的数据量大概4-5T,全是中文。B端用户不能接入API其实更多是并发处理问题,和算力也有一定关系。云服务运维方面有一些跟不上了。Q:国产芯片怎么样?A:生态做的不好。训练卡,开发各种代码、函数调用、英伟达迭代12个版本,国内很难做出一个生态库去对标英伟达。华为:性能对标A800,软件不好,完全不兼容CUDA。要找一个工程团队给我们改代码,工程成本太高了。Q:同海外模型相比优劣势?A:在中文处理能力上,公司kimi领先,语料采集、标注上的把握,我们有天然的优势。如果把语言扩大到其他语言,可能没有什么优势。交互的拟人性,kimi整体上会比openAI落后10%左右。逻辑推理能力也会落后。云计算资源如果匹配上的,0.5-1年公司可以追上去。但目前在GPU方面是卡脖子的,差距会越拉越大。
在Telegram中查看相关推荐
![](https://soso.news/wp-content/uploads/2023/09/coin-300x85.png)
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人