OpenAI自研芯片进展曝光 百万年薪挖角谷歌

OpenAI自研芯片进展曝光 百万年薪挖角谷歌 据SemiAnalysis报道，OpenAI计划将目前仅有数人的芯片团队扩展至数十人，且几乎所有新招募的研究人员均为谷歌TPU团队的现任或前任成员。TPU是谷歌为加速机器学习和神经网络计算而设计的专用处理器，以其出色的运算性能和能源效率著称。OpenAI提供的不仅仅是具有竞争力的薪酬，更包括作为一家未上市公司所提供的股权激励，这对于高级工程师来说极具吸引力。加入OpenAI的团队成员将有机会参与从零开始的创新设计过程，尝试更激进的方法，构建由数百万个加速器组成的系统。此外，OpenAI的自研芯片计划也反映出与微软关系的微妙变化，尽管背靠微软的资金和Azure云服务，OpenAI仍寻求在芯片和算力方面的独立性。业界普遍预计，OpenAI的第一代自研芯片将在2027年底前推出，在此之前，该组织将继续依赖商用芯片。 ... PC版： 手机版：

谷歌推出基于 Arm 的数据中心处理器 Axion 和下一代 TPU 芯片

谷歌推出基于 Arm 的数据中心处理器 Axion 和下一代 TPU 芯片 谷歌9日在其年度云计算会议上公布了其下一代数据中心 AI 加速芯片 TPU 的细节，并宣布推出自行设计的基于 ARM 架构的数据中心 CPU。 谷歌的张量处理单元 (TPU) 是英伟达制造的先进 AI 芯片的少数可行替代品之一，但开发人员只能通过谷歌云访问它们，而不能直接购买。谷歌表示，下一代 TPU v5p 芯片可在8,960个芯片的芯片集群中运行，原始性能可达到上一代 TPU 的两倍。为了确保芯片组以最佳性能运行，谷歌采用了液体冷却技术。TPU v5p 将于9日在谷歌云正式发布。 谷歌计划通过谷歌云提供被称为 Axion 的基于 ARM 的 CPU。Axion 芯片的性能比通用 ARM 芯片高出30%，比英特尔和 AMD 生产的当前一代 x86 芯片高出50%。Axion 已在多项谷歌服务中使用，并计划于今年晚些时候向公众开放。

苹果利用谷歌芯片训练其人工智能模型

苹果利用谷歌芯片训练其人工智能模型 当地时间周一，苹果公司宣布了新的 Apple Intelligence 人工智能服务。但在活动结束后，苹果发布的一份技术文件的细则中明确显示出，谷歌公司已成为在人工智能领域又一个赢家。为了构建苹果的基础人工智能模型，该公司的工程师使用了自主开发的框架和一系列硬件，特别是自己的内部图形处理单元 (GPU) 和只能在谷歌云端使用的张量处理单元 (TPU) 芯片。苹果并未透露其对谷歌芯片和软件的依赖程度，以及对英伟达或其他人工智能供应商硬件的依赖程度。 谷歌已经开发 TPU 大约 10 年了，并公开讨论了可用于人工智能训练的两种第五代芯片；谷歌表示，第五代芯片的性能版本提供的性能可与英伟达 H100 人工智能芯片相媲美。通常谷歌的芯片并不直接出售给客户，只能通过谷歌云进行访问。

马斯克称正在提高特斯拉AI团队薪酬 以阻止OpenAI挖角

马斯克称正在提高特斯拉AI团队薪酬 以阻止OpenAI挖角 马斯克回应了The Information有关特斯拉人工智能科学家Ethan Knight加入马斯克旗下初创公司xAI的报道。马斯克说：“Ethan 打算加入OpenAI，所以要么是xAI，要么是OpenAI。”马斯克帮助创办了OpenAI，但后来与该公司闹翻。他现在正在特斯拉内部和旗下初创公司xAI多维度布局人工智能。 ... PC版： 手机版：

OpenAI Altman的野心：筹资七万亿美元直指AI“芯片痛点”

OpenAI Altman的野心：筹资七万亿美元直指AI“芯片痛点” 其中一位知情人士表示，该项目可能需要筹集多达5万亿至7万亿美元的资金。这一规模甚至令全球半导体产业规模相形见绌，去年全球芯片销售额为5270亿美元，预计到2030年将增至每年1万亿美元。根据行业组织SEMI的估算，去年全球半导体制造设备销售额为1000亿美元。从企业筹资标准来看，Altman所讨论的金额也是非常巨大的，较一些主要经济体的国债、大型主权财富基金还要大，去年美国企业债务发行总额约为1.44万亿美元。知情人士指出，Altman建议OpenAI、各种投资者、芯片制造商和电力供应商建立合作关系，他们将共同出资建立芯片代工厂，然后由现有的芯片制造商运营，OpenAI将成为新工厂的重要客户。在人工智能需求激增的背景下，人们对芯片供应和运行芯片所需电力的担忧与日俱增，AI芯片领导者英伟达的芯片一直供不应求。Altman的其目就是解决制约OpenAI发展的各类因素，包括训练ChatGPT大模型的AI芯片的稀缺性。Altman经常抱怨称，没有足够的GPU芯片，支持OpenAI对通用人工智能的追求。 ... PC版： 手机版：

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了 （这里面还有个熟悉的身影：Lepton）网友表示：这速度简直就是飞机vs走路。值得一提的是，这并非哪家大公司进展初创公司Groq，GoogleTPU团队原班人马，基于自研芯片推出推理加速方案。（注意不是马斯克的Grok）据他们介绍，其推理速度相较于英伟达GPU提高了10倍，成本却降低到十分之一。换言之，任何一个大模型都可以部署实现。目前已经能支持Mixtral 8x7B SMoE、Llama 2的7B和70B这三种模型，并且可直接体验Demo。他们还在官网上喊话奥特曼：你们推出的东西太慢了……每秒接近500tokens既然如此，那就来体验一下这个号称“史上最快推理”的Groq。先声明：不比较生成质量。就像它自己说的那样，内容概不负责。目前，演示界面上有两种模型可以选择。就选择Mixtral 8x7B-32k和GPT-4同擂台对比一下。提示词：你是一个小学生，还没完成寒假作业。请根据《星际穿越》写一篇500字的读后感。结果啪的一下，只需1.76秒就生成了一长串读后感，速度在每秒478Tokens。不过内容是英文的，以及读后感只有三百六十多字。但后面也赶紧做了解释说考虑到是小学生写不了那么多……至于GPT-4这边的表现，内容质量自然更好，也体现了整个思路过程。但要完全生成超过了三十秒。单是读后感内容的生成，也有近二十秒钟的时间。除了Demo演示外，Groq现在支持API访问，并且完全兼容，可直接从OpenAI的API进行简单切换。可以免费试用10天，这期间可以免费获得100万Tokens。目前支持Llama 2-70B 和7B， Groq可以实现4096的上下文长度，还有Mixtral 8x7B这一型号。当然也不局限于这些型号，Groq支持具体需求具体定制。价格方面，他们保证：一定低于市面上同等价格。不过可以看到，每秒500tokens似乎还不是终极速度，他们最快可以实现每秒750Tokens。GoogleTPU团队创业项目Groq是集软硬件服务于一体的大模型推理加速方案，成立于2016年，创始团队中很多都是GoogleTPU的原班人马。公司领导层的10人中，有5人都曾有Google的工作经历，3人曾在英特尔工作。创始人兼CEO Jonathan Ross，设计并实现了第一代TPU芯片的核心元件，TPU的研发工作中有20%都由他完成。Groq没有走GPU路线，而是自创了全球首个L（anguage）PU方案。LPU的核心奥义是克服两个LLM瓶颈计算密度和内存带宽，最终实现的LLM推理性能比其他基于云平台厂商快18倍。据此前他们介绍，英伟达GPU需要大约10焦耳到30焦耳才能生成响应中的tokens，而 Groq 设置每个tokens大约需要1焦耳到3焦耳。因此，推理速度提高了10倍，成本却降低了十分之一，或者说性价比提高了100倍。延迟方面，在运行70B模型时，输出第一个token时的延时仅有0.22秒。甚至为了适应Groq的性能水平，第三方测评机构ArtificialAnalysis还专门调整了图表坐标轴。据介绍，Groq的芯片采用14nm制程，搭载了230MB大SRAM来保证内存带宽，片上内存带宽达到了80TB/s。算力层面，Gorq芯片的整型（8位）运算速度为750TOPs，浮点（16位）运算速度则为188TFLOPs。Groq主要基于该公司自研的TSP架构，其内存单元与向量和矩阵深度学习功能单元交错，从而利用机器学习工作负载固有的并行性对推理进行加速。在运算处理的同时，每个TSP都还具有网络交换的功能，可直接通过网络与其他TSP交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。结合新设计的Dragonfly网络拓扑，hop数减少、通信延迟降低，使得传输效率进一步提高；同时软件调度网络带来了精确的流量控制和路径规划，从而提高了系统的整体性能。Groq支持通过PyTorch、TensorFlow等标准机器学习框架进行推理，暂不支持模型训练。此外Groq还提供了编译平台和本地化硬件方案，不过并未介绍更多详情，想要了解的话需要与团队进行联系。而在第三方网站上，搭载Groq芯片的加速卡售价为2万多美元，差不多15万人民币。它由知名电子元件生产商莫仕（molex）旗下的BittWare代工，同时该厂也为英特尔和AMD代工加速卡。目前，Groq的官网正在招人。技术岗位年薪为10万-50万美元，非技术岗位则为9万-47万美元。“目标是三年超过英伟达”除此之外，这家公司还有个日常操作是叫板喊话各位大佬。当时GPTs商店推出之后，Groq就喊话奥特曼：用GPTs就跟深夜读战争与和平一样慢……阴阳怪气直接拉满~马斯克也曾被它痛斥，说“剽窃”自己的名字。在最新讨论中，他们疑似又有了新操作。一名自称Groq工作人员的用户与网友互动时表示，Groq的目标是打造最快的大模型硬件，并扬言：三年时间内赶超英伟达。这下好了，黄院士的核武器有新的目标了。参考链接：[1] ... PC版： 手机版：