字跳开源的一个高性能和强可扩展性的 Rust RPC 框架，可帮助开发人员构建微服务。

字跳开源的一个高性能和强可扩展性的 Rust RPC 框架，可帮助开发人员构建微服务。 Volo 主要由六个 crate 组成： volocrate，包含框架的通用组件。 crate ，volo-thrift提供 Thrift RPC 实现。 volo-grpc提供 gRPC 实现的crate。 板条箱，volo-build它生成节俭和 protobuf 代码。 crate ，volo-cli它提供 CLI 界面来引导新项目并管理 idl 文件。 crate ，volo-macros为框架提供宏。 | 教程：|| #框架

Netpoll 是由 字节跳动 开发的高性能 NIO(Non-blocking I/O) 网络库，专注于RPC场景。

Netpoll 是由 字节跳动 开发的高性能 NIO(Non-blocking I/O) 网络库，专注于RPC场景。 RPC 通常有较重的处理逻辑，因此无法串行处理 I/O。而 Go 的标准库net设计了BIO(Blocking I/O) 模式的API，使得 RPC 框架设计上只能为每个连接都分配一个goroutine。 这在高并发下，会产生大量的goroutine，大幅增加调度开销。此外，net.Conn 没有提供检查连接活性的API，因此 RPC 框架很难设计出高效的连接池，池中的失效连接无法及时清理。 另一方面，开源社区目前缺少专注于 RPC 方案的Go网络库。类似的项目如：evio , gnet等，均面向 Redis,HAProxy这样的场景。 因此Netpoll应运而生，它借鉴了evio和 netty的优秀设计，具有出色的 性能，更适用于微服务架构。 同时，Netpoll还提供了一些 特性，推荐在RPC设计中替代net。 | #框架

将视觉AI与现代数据栈无缝集成的开源工具

将视觉AI与现代数据栈无缝集成的开源工具 Visual Data Preparation (VDP)是一个开源的可视化数据 ETL 工具，用于简化端到端的可视化数据处理： -从云/本地存储或物联网设备等预建数据源中提取非结构化可视数据 -通过 Vision AI 模型将其转换为可分析的结构化数据 -将转换后的数据加载到仓库、应用程序或其他目的地 构建端到端可视化数据管道的最快方式 Go 中实现的高性能后端 一键导入和部署模型 标准化计算机视觉任务的结构化输出 用于广泛数据访问的预构建 ETL 数据连接器 执行SYNC实时推理和ASYNC按需工作负载 可扩展的 API 优先微服务设计，可提供出色的开发人员体验 为每位 Vision AI 和数据从业者构建无/低代码界面 |||| #工具 #可视化

Google下一代集成开发环境 Project IDX 现已进入开放测试阶段

Google下一代集成开发环境 Project IDX 现已进入开放测试阶段 Google副总裁兼开发者 X 总经理、公司开发者关系主管 Jeanine Banks 说："随着人工智能的普及，部署所有人工智能所带来的复杂性确实变得更难、更大，我们希望帮助解决这一挑战。这就是我们创建 Project IDX 的原因，它是一种多平台开发体验，可以快速、轻松地构建应用程序。Project IDX 通过 Next.js、Astro、Flutter、Dart、Angular、Go 等易于使用的模板，让您真正无障碍地使用自己喜欢的框架或语言。"通过这次更新，Google将在集成开发环境中添加与地图平台的集成，帮助为应用程序添加地理位置功能，并与 Chrome Dev Tools 和 Lighthouse 集成，帮助调试应用程序。不久之后，Google还将启用将应用程序部署到Cloud Run（无服务器平台，用于运行前端和后端服务）的功能。开发环境还将与Google的人工智能合规性平台Checks 集成，该平台将于本周二从测试版升级为全面可用。当然，IDX 不仅仅是要构建支持人工智能的应用程序，它还要在编码过程中使用人工智能。为了实现这一点，IDX 包含了许多现已成为标准功能的功能，如代码补全和聊天助手侧边栏，以及一些创新功能，如突出显示代码片段，以及类似于 Photoshop 中的生成填充功能，让Google的Gemini模型来更改代码片段。每当 Gemini 建议使用代码时，它都会链接回原始源代码及其相关许可证。Project IDX 是Google以开源 Visual Studio Code 为核心构建的，它还与 GitHub 集成，可以轻松与现有工作流程整合。在 IDX 的一个最新版本中，Google还在 IDE 中为移动开发人员添加了内置 iOS 和 Android 模拟器。 ... PC版： 手机版：

英伟达掌握AI时代“摩尔定律” 会加大中美AI公司差距么？

英伟达掌握AI时代“摩尔定律” 会加大中美AI公司差距么？ 作为GTC大会的核心，英伟达发布了Blackwell GPU，它分为B200和GB200系列，后者集成了1个Grace CPU和2个B200 GPU。NVIDIA GB200 NVL72大型机架系统使用GB200芯片，搭配NVIDIA BlueField-3数据处理单元、第五代NVLink互联等技术，对比相同数量H100 Tensor核心的系统，在推理上有高达30倍的性能提升，并将成本和能耗降低了25倍。在AI应用方面，英伟达推出Project GR00T机器人基础模型及Isaac机器人平台的重要更新。英伟达展示其AI芯片的算力在过去8年里实现了1000倍的增长，这代表AI时代的摩尔定律（算力快速增长，算力成本快速下降）正在形成。01实现10万亿参数AI模型的训练和实时推理在GTC大会上，英伟达不仅发布了算力方面的更新，也介绍了其在应用方面的进展。1.更强的训练算力，更快、成本更低的推理Blackwell不仅是一块芯片，也是一个平台。英伟达的目标是让规模达到10万亿参数的AI模型可以轻松训练和实时推理。它最小的单元是B200，内置2080亿个晶体管，使用定制的4NP TSMC工艺制造，采用Chiplet架构，两个GPU dies通过每秒10TB的芯片到芯片链接连接成一个统一的GPU。GB200超级芯片则将两个B200 Tensor核心GPU通过每秒900GB的超低功耗NVLink芯片到芯片互连技术与NVIDIA Grace CPU连接。再往上一层，则是NVIDIA GB200 NVL72，这是一个多节点、液冷的机架系统，它内含36个Grace Blackwell超级芯片，包括72个Blackwell GPU和36个Grace CPU，在NVIDIA BlueField-3数据处理单元的支持下，它能实现云网络加速、可组合存储、零信任安全性以及在超大规模AI云中的GPU计算弹性。这个系统可以被作为"单个GPU"工作，这时它能提供1.4 exaflops的AI性能和30TB的快速内存。据称，一个GB200 NVL72就最高支持27万亿参数的模型。最大规模的系统则是DGX SuperPOD，NVIDIA GB200 NVL72是DGX SuperPOD的构建单元，这些系统通过NVIDIA Quantum InfiniBand网络连接，可扩展到数万个GB200超级芯片。此外，NVIDIA还提供HGX B200服务器板，通过NVLink将八个B200 GPU连接起来，支持基于x86的生成式AI平台。HGX B200通过NVIDIA Quantum-2 InfiniBand和Spectrum-X以太网网络平台支持高达400Gb/s的网络速度。GB200还将在NVIDIA DGX云上提供给客户，这是一个与AWS、Google云和甲骨文云等领先的云服务提供商共同设计的AI平台，为企业开发者提供专用访问权限，以构建和部署先进的生成式AI模型所需的基础设施和软件。英伟达以实际的模型训练为例，训练一个GPT-MoE-1.8T模型（疑似指GPT-4），此前使用Hopper系列芯片需要8000块GPU训练90天，现在使用GB200训练同样的模型，只需要2000块GPU，能耗也只有之前的四分之一。由GB200组成的系统，相比相同数量的NVIDIA H100 Tensor核心GPU组成的系统，推理性能提升30倍，成本和能耗降低25倍。在背后支持这些AI芯片和AI算力系统的是一系列新技术，包括提升性能的第二代Transformer引擎（支持双倍的计算和模型大小）、第五代NVLink（提供了每个GPU1.8TB/s的双向吞吐量）；提升可靠性的RAS引擎（使AI算力系统能够连续运行数周甚至数月）；以及安全AI（保护AI模型和客户数据）等。在软件方面，Blackwell产品组合得到NVIDIA AI Enterprise的支持，这是一个端到端的企业级AI操作系统。NVIDIA AI Enterprise包括NVIDIA NIM推理微服务，以及企业可以在NVIDIA加速的云、数据中心和工作站上部署的AI框架、库和工具。NIM推理微服务可对来自英伟达及合作伙伴的数十个AI模型进行优化推理。综合英伟达在算力方面的创新，我们看到它在AI模型训练和推理方面的显著进步。在AI的模型训练方面，更强的芯片和更先进的芯片间通讯技术，让英伟达的算力基础设施能够以相对较低的成本训练更大的模型。GPT-4V和Sora代表了生成式AI的未来，即多模态模型和包括视频在内的视觉大模型，英伟达的进步让规模更大、更多模态和更先进的模型成为可能。在AI推理方面，目前越来越大的模型规模和越来越高的实时性要求，对于推理算力的挑战十分严苛。英伟达的AI算力系统推理性能提升30倍，成本和能耗降低25倍。不仅让大型模型的实时推理成为可能，而且解决了以往的并不算优秀的能效和成本问题。2.着重发力具身智能英伟达在GTC大会上公布了一系列应用方面的新成果，例如生物医疗、工业元宇宙、机器人、汽车等领域。其中机器人（具身智能）是它着重发力的方向。它推出了针对仿生机器人的Project GR00T基础模型及Isaac机器人平台的重要更新。Project GR00T是面向仿生机器人的通用多模态基础模型，充当机器人的“大脑”，使它们能够学习解决各种任务的技能。Isaac机器人平台为开发者提供新型机器人训练模拟器、Jetson Thor机器人计算机、生成式AI基础模型，以及CUDA加速的感知与操控库Isaac机器人平台的客户包括1X、Agility Robotics、Apptronik、Boston Dynamics、Figure AI和XPENG Robotics等领先的仿生机器人公司。英伟达也涉足了工业机器人和物流机器人。Isaac Manipulator为机械臂提供了最先进的灵巧性和模块化AI能力。它在路径规划上提供了高达80倍的加速，并通过Zero Shot感知（代表成功率和可靠性）提高了效率和吞吐量。其早期生态系统合作伙伴包括安川电机、PickNik Robotics、Solomon、READY Robotics和Franka Robotics。Isaac Perceptor提供了多摄像头、3D环绕视觉能力，这些能力对于自动搬运机器人特别有用，它帮助ArcBest、比亚迪等在物料处理操作等方面实现新的自动化水平。02英伟达算力井喷后，对创业公司有何影响？在发展方式上，英伟达与OpenAI等公司有明显的不同。OpenAI以及Anthropic、Meta等公司是以AI模型为核心，然后运营平台和生态；英伟达则以算力为核心，并拓展到软件平台和AI的相关应用。并且在应用方面，它并没有表现出一家垄断的态势，而是与各种行业的合作伙伴共创，其目的是建立一个软硬件结合的庞大生态。此次英伟达在算力方面的进步，对于AI创业公司们也产生了深刻影响。对于大模型领域创业公司，例如OpenAI等，这显然是利好，因为他们能以更快的频率，更低的成本训练规模更大，模态更多的模型，并且有机会进一步降低API的价格，扩展客户群体。对于AI应用领域的创业公司，英伟达不仅将推理算力性能提高了数十倍，而且降低了能耗和成本。这让AI应用公司们能在成本可承担的前提下，拓展业务规模，随着AI算力的进一步增长，未来AI应用公司的运营成本还可能进一步降低。对于AI芯片领域的创业公司，英伟达的大更新让他们感受到了明显压力，而且英伟达提供的是一套完整的系统，包括算力芯片，芯片间通信技术，打破内存墙的网络芯片等。AI芯片创业公司必须找到自己真正能建立优势的方向，而不是因为英伟达这类巨头的一两次更新就失去存在价值。中国的AI创业公司，因为各种各样的原因，很难使用最新最强的英伟达AI芯片，作为替代的国产AI芯片在算力和能效比上目前仍有差距，这可能导致专注大模型领域的公司们在模型的规模扩展和迭代速度上与海外的差距拉大。对于中国的AI应用公司，则仍有机会。因为它们不仅可以用国内的基础模型，也可以用海外的先进开源模型。中国拥有全球顶尖的AI工程师和产品经理，他们打造的产品足可以参与全球竞争，这让AI应用公司们进可以开拓海外市场，还有足够庞大的国内市场做基本盘，AI时代的字节跳动、米哈游很可能在它们中间产生。 ... PC版： 手机版：