蚂蚁集团发布大模型密算平台 助力大模型破解数据供给挑战

蚂蚁集团发布大模型密算平台 助力大模型破解数据供给挑战 7 月 5 日，2024 年世界人工智能大会进入第二天，作为数据要素领域的主要技术服务商，蚂蚁集团在大会期间发布了 “隐语 Cloud” 大模型密算平台，通过软硬件结合的可信隐私计算技术，在大模型托管和大模型推理等环节实现数据密态流转，保护模型资产、数据安全和用户隐私。

计图大模型推理库 - 笔记本没有显卡也能跑大模型

计图大模型推理库 - 笔记本没有显卡也能跑大模型 本大模型推理库JittorLLMs有以下几个特点： 1. 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库； 2. 支持广：目前支持了4种大模型：ChatGLM大模型；鹏程盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型；后续还将支持MOSS等国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。 3. 可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。 4. 速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。 |

- 笔记本没有显卡也能跑大模型

- 笔记本没有显卡也能跑大模型 推理库JittorLLMs有以下几个特点： 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库； 支持广：目前支持了4种大模型：ChatGLM大模型；华为盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型；后续还将支持MOSS等国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。 可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。 速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。

燧原科技与清程极智联合开发面向超万亿参数大模型和超大规模集群的系统软件方案

燧原科技与清程极智联合开发面向超万亿参数大模型和超大规模集群的系统软件方案 7 月 5 日，在上海举办的世界人工智能大会（WAIC）上，燧原科技与人工智能系统软件商清程极智签署战略合作协议，联合开发面向超万亿参数大模型和超大规模集群的高性能系统软件方案。双方的合作致力于共同打造超大规模智算集群的训练方案，以满足基础大模型的预训练、行业大模型的微调和大模型推理部署等不同的应用场景和多元的算力需求。此前，双方已经在技术领域开展了重要合作。其中，基于燧原的新一代人工智能推理加速卡 “燧原 S60” 和清程极智的高性能推理框架 “FastDecode”，共同研发了千亿参数规模大模型的高性能推理平台。

：一站式大模型训练及应用构建的解决方案，其覆盖了从数据处理到模型评估、从训练到部署、从想法到服务等整个流程。在本项目中，用户可以

：一站式大模型训练及应用构建的解决方案，其覆盖了从数据处理到模型评估、从训练到部署、从想法到服务等整个流程。在本项目中，用户可以轻松地通过本项目进行模型训练并一键生成所需的产品服务。 本项目的优势主要体现在以下三点: 总结了不同应用场景下的专业知识和最佳实践，以保证模型在实际生产中的表现优异。 集成了高性能模型并行框架，有效地减少了训练和推理时的算力开销。 用户可以基于自身需要定制化模型及服务，便捷且自由度高。

【工商银行吕仲涛：AI大模型技术尚未成熟，全面落地金融业还需大数据、大算力、大合作、大创新】

【工商银行吕仲涛：AI大模型技术尚未成熟，全面落地金融业还需大数据、大算力、大合作、大创新】 工商银行首席技术官吕仲涛在 2023 服贸会期间接受专访时表示，大模型技术目前尚未完全成熟，而金融行业是一个强监管的行业。因此，大模型技术应用于金融场景下，仍然存在安全隐私、科技伦理、可信可解释等方面的风险。同时，大模型技术应用全面落地的过程还面临着数据、算力、算法、应用等诸多挑战。 快讯/广告 联系 @xingkong888885