| #指南本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包

| #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。 本项目适合以下学习者： 想要使用或体验 LLM，但无条件获得或使用相关 API； 希望长期、低成本、大量应用 LLM； 对开源 LLM 感兴趣，想要亲自上手开源 LLM； NLP 在学，希望进一步学习 LLM； 希望结合开源 LLM，打造领域特色的私域 LLM； 以及最广大、最普通的学生群体。

戴尔、超微为 xAI 超级计算机提供服务器机架

戴尔、超微为 xAI 超级计算机提供服务器机架 总部位于旧金山的超微证实了与 xAI 的合作，该公司以与 Nvidia 等芯片公司关系密切及其液冷技术而闻名。戴尔首席执行官迈克尔·戴尔也在 X 上的另一篇帖子中表示，该公司正在与人工智能巨头 Nvidia 合作建立一个“AI 工厂”，为 xAI 的下一个版本的聊天机器人 Grok 提供动力。据5 月份报道，马斯克告诉投资者，他的人工智能初创公司 xAI 计划建造一台超级计算机，为其下一代人工智能聊天机器人 Grok 提供动力。训练 xAI 的 Grok 等人工智能模型需要数万块芯片，而这些芯片供不应求。今年早些时候，马斯克表示，训练 Grok 2 模型需要大约 20000 个 Nvidia H100 图形处理单元 （GPU），并补充说，Grok 3 模型及以后的模型将需要 100000 个 Nvidia H100 芯片。据《Information》报道，马斯克表示，他希望在 2025 年秋季之前让这台计划中的超级计算机投入运行。马斯克去年创立了 xAI，作为微软支持的 OpenAI 和 Alphabet 旗下谷歌的挑战者。马斯克也是 OpenAI 的联合创始人。 ... PC版： 手机版：

微软发布Copilot智能体 还带来了本机小语言模型

微软发布Copilot智能体 还带来了本机小语言模型 此外，微软还针对Copilot+ PC推出了本机小语言模型Phi-Silica。微软宣布，从6月份开始上市销售的所有Copilot+ PC都将嵌入Phi-Silica。这是一款微软专门为人工智能个人电脑所搭载神经处理单元（NPU）打造的模型，是公司所有模型中规模最小的，有33亿个参数。微软宣称，Copilot智能体并不会袖手旁观，等待命令，而是可以主动执行诸如监控电子邮件收件箱、自动化手动数据录入等任务。这代表了行业中所称的AI智能体在行为上的重大变革，也就是使聊天机器人能够独立智能地执行复杂任务。这是业界通常所说智能主体方面的一个重大变化，也就是让聊天机器人能自动执行一系列复杂任务。微软商业应用和平台副总裁查尔斯·拉曼纳(Charles Lamanna)在接受采访时解释：“我们很快意识到，仅限于用Copilot进行对话，极大地限制了它目前的功能。”“与其让Copilot等着别人和它聊天，不如让它更主动，让它能够在后台自动执行任务。”微软今天向极少数早期接入测试者展示了这一新能力，并计划在今年晚些时候在Copilot Studio公开进行预览。企业将能够创建能够处理IT支持、员工入职等多种任务的Copilot智能体。“Copilot正从与你并肩作战的助手，演变为为你工作的助手，”微软在一篇博客中说。这些Copilot智能体将由特定事件触发，并将结合企业自身的数据进行操作。以下是微软以新员工入职举例说明Copilot如何工作：想象你是一名新员工。一个积极主动的Copilot会向你打招呼，利用HR数据解答你的问题，把你介绍给同事，为你提供培训信息，帮助你填写表格，安排你第一周的会议。这样，HR及其他员工便可专注于他们的常规任务，无需再被行政管理工作所困扰。这种自动化可能会引发关于失业以及AI未来走向的问题和恐惧。拉曼纳认为，Copilot智能体可以去除工作中重复且单调的任务，如数据输入，而非完全替代工作。“工作和岗位是由许多不同而又多样的任务组成的。如果某人不断重复同一工作，那么这种工作很可能已经被现有技术自动化了。”拉曼纳说，“我们认为，随着Copilot和Copilot Studio的使用，一些任务将被完全自动化……但好消息是，大多数被自动化的任务都是没人真正想做的。”关于小型语言模型Phi-Silica，微软表示这款模型的首字延迟是每秒650个token，功耗大约为1.5瓦特。这意味着它不会大量占用系统资源，从而释放PC的CPU和GPU去处理其他计算任务。此外，Phi-Silica在生成Token时会重用NPU的KV缓存，并在CPU上运行，每秒能产生约27个Token。微软发言人表示，Phi-Silica的独特之处在于这是Windows首个本地部署的语言模型。它专为NPU优化，能够为设备带来极速的本地推理处理。这是一个关键时刻，标志着先进的AI技术将直接应用于Windows平台，支持第三方开发者创建卓越的第一方和第三方体验。这些体验将于今年秋季推向终端用户，从而提升Windows生态系统内的生产力和可访问性。Phi-Silica是微软Phi-3系列模型的第五款产品，其他四款产品是拥有38亿个参数的Phi-3 mini、70亿个参数的Phi-3 small、140亿个参数的Phi-3 medium和42亿个参数的Phi-3 vision。（辰辰） ... PC版： 手机版：

实时目标声音提取该存储库为本文中提出的波形器架构提供了代码。波形器是一种实现流推理的低延迟目标声音提取模型该模型在每个时间步长处

实时目标声音提取 该存储库为本文中提出的波形器架构提供了代码。波形器是一种实现流推理的低延迟目标声音提取模型该模型在每个时间步长处理 ~10 毫秒的输入音频块，同时只查看过去的块，而不查看未来的块。在使用单线程的Core i5 CPU上，不同型号配置的实时因子（RTF）范围为0.66至0.94，端到端延迟小于20毫秒。 | #工具

下一代注释工具，整合了计算机视觉最先进模型的强大功能，让标注图像数据集变得比以往更容易，提供无缝的体验和直观的工作流程。

下一代注释工具，整合了计算机视觉最先进模型的强大功能，让标注图像数据集变得比以往更容易，提供无缝的体验和直观的工作流程。 其他特性 阈值选择（置信度和 IoU） 选择类（从 80 个 COCO 类中），并可以选择保存默认类 仅跟踪分配的对象 合并模型（运行两个模型并合并结果） 显示运行时类型（CPU/GPU） 显示 GPU 内存使用情况 视频导航（逐帧、快进、快退、播放/暂停） 浅色/深色主题支持（与操作系统主题同步） 完全可定制的用户界面（拖放、显示/隐藏） 操作系统通知（针对长时间运行的任务） 使用 orjson 实现更快的 json 序列化 附加脚本（外部）来评估分割结果（COCO） 用于从视频文件中提取帧以供将来使用的附加脚本（外部） 用户快捷方式和首选项设置 | #工具

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位 Eos由576套英伟达DGX H100系统、NVIDIA Quantum-2 InfiniBand网络和软件组成，可提供总计18.4 exaflops的FP8人工智能性能。Eos超级计算机于11月在2023年超级计算贸易展上亮相，Eos以希腊神话中每天打开黎明之门的女神命名，体现了英伟达致力于推动人工智能技术发展的承诺。每台DGX H100系统都配备了8颗英伟达H100 Tensor Core GPU。Eos总共配备了4,608个H100 GPU。因此，Eos 可以处理最大的人工智能工作负载，以训练大型语言模型、推荐系统、量子模拟等。它展示了NVIDIA技术在大规模工作时的能力。Eos的诞生恰逢人们正在利用生成式人工智能改变世界，从药物发现到聊天机器人再到自主机器等等。为了实现这些突破，他们需要的不仅仅是人工智能专业知识和开发技能。他们需要一个人工智能工厂一个随时可用的专用人工智能引擎，它可以帮助提高他们大规模构建人工智能模型的能力。Eos在全球最快超级计算机TOP 500 榜单中名列第 9 位，推动了人工智能技术和基础设施的发展。它包括NVIDIA先进的加速计算和网络，以及先进的软件产品，如NVIDIA Base Command和NVIDIA AI Enterprise。Eos的架构针对需要在大型加速计算节点集群中实现超低延迟和高吞吐量互联的人工智能工作负载进行了优化，使其成为希望扩展人工智能能力的企业的理想解决方案。基于英伟达Quantum-2 InfiniBand与网内计算技术，其网络架构支持400 Gb/s的数据传输速度，促进了训练复杂人工智能模型所必需的大型数据集的快速移动。Eos的核心是由英伟达DGX H100系统支持的开创性DGX SuperPOD架构。该架构旨在为人工智能和计算领域提供能够进行大规模计算的紧密集成的全栈系统。随着全球企业和开发人员都在寻求利用人工智能的力量，Eos作为一种关键资源，有望加速人工智能应用的发展。 ... PC版： 手机版：