微软内部遭遇AI硬件短缺 被迫实施配额制

微软内部遭遇AI硬件短缺被迫实施配额制这种硬件短缺的现状还对微软的客户产生了影响:至少有一个客户表示,需要等待很长时间,才能使用已经通过微软Azure云服务提供的OpenAI软件。微软表示正在加紧添置更多硬件,以便增加AI计算能力,但如果速度不够快,就有可能限制其AzureOpenAI服务对新客户的吸引力。这些客户会借助此项服务将AI功能添加到自己的应用中。微软原本在这种新的AI工具的商业化方面已经领先于谷歌,但如果迟迟不能解决硬件短缺问题,这种优势也将难以发挥出来。谷歌抢在微软之前于本周发布了自己的AI辅助写作工具,包括能够根据简短的提示,在谷歌Docs和Sheets中自动编写文本的软件。服务器短缺正值OpenAI和微软试图快速扩大销售范围之际,客户可以使用自己的数据对这种AI软件进行微调,从而开发图片生成、文档总结、搜索引擎和聊天机器人等定制化AI工具。微软已经向OpenAI投资了数十亿美元,有权通过AzureOpenAI服务向创业公司销售软件。OpenAI也将软件直接授权给客户使用——而作为与微软合作的一部分,所有OpenAI机器学习模型都必须运行在Azure服务器上。这两项服务的定价相同,每次请求收费都不到一美分。这两家公司在过去3个月推出的服务吸引了企业用户的广泛兴趣,他们都希望将OpenAI的ChatGPT聊天机器人的底层技术整合到自家产品中。但是微软AzureOpenAI服务的新客户却要面临很长的等待时间。硬件资源短缺的核心问题在于,GPT-4等新的AI大模型需要在GPU上运行,这种服务器芯片可以一次性处理大量数据。为了处理这个模型的庞大计算需求,微软已将数万个GPU整合成一个个群集,分散到各个数据中心里。在明确用户需求量之前,微软目前不得不将现有的大量GPU资源预留给新的必应GPT-4聊天机器人和即将推出的GPT-4Office工具。知情人士表示,微软2月刚刚推出这项必应智能聊天功能,目前还在加紧测算平均每天有多少人愿意使用这项服务。知情人士表示,这就导致工程师很难预测该功能所需的计算资源。而即将推出的OfficeGPT-4工具也可能导致微软客户对OpenAI聊天机器人技术的需求大幅激增。这些新功能包括AI文档总结、个性化写作建议以及编辑建议等。其他从事AI开发的微软团队不得不让位于必应和Office,包括为各种机器学习模型的开发团队,其中就包括微软的图灵自然语言生成模型,它可以理解文本,之前曾为电子邮件和Office应用中的搜索工具提供底层技术。知情人士表示,当这些团队想要使用GPU开发新的AI工具或测试现有AI软件时,必须向一位公司副总裁提交特别申请,获批后才能使用硬件。知情人士称,有些申请需要等待几天甚至几周才能获批。自2022年末,微软就一直对内部的GPU资源实施配额供给,但1月以来的等待时间越来越长。微软发言人在声明中补充道,该公司正在为Azure等服务增加更多AI资源,并且遵循“优先满足客户需求并根据需求进行调整的流程”。他们还补充道,微软并不担心AI资源。至少有一个微软客户透露,他们也经历了延迟访问的问题。市场营销软件创业公司TouchCast创始人兼CEOEdoSegal说:“几乎不可能立刻使用程序”。Edo的公司正在为多家车企开发基于GPT的互动式用户手册,而这项技术正是通过微软Azure授权的。现有的AzureAI客户几乎未受影响。无人驾驶汽车开发商Cruise和AI搜索创业公司Perplexity的发言人都表示,他们在使用Azure的GPU资源时并未遇到困难。去年11月,微软和GPU生产商英伟达共同宣布,微软将新增数万个处理器来扩大AI处理能力,但目前还不清楚采购进度。这两家公司还在周一共同宣布,Azure的客户很快就能抢先使用英伟达的新款H100GPU——这款产品尚未广泛发布。而知情人士称,已经有少部分微软内部团队开始使用H100,但多数部门尚未获得这项权限。相关文章:微软将数万颗芯片串联成一台价格不菲的超级计算机用于OpenAI...PC版:https://www.cnbeta.com.tw/articles/soft/1349593.htm手机版:https://m.cnbeta.com.tw/view/1349593.htm

相关推荐

封面图片

微软、甲骨文考虑共享 AI 服务器,解决算力短缺问题

微软、甲骨文考虑共享AI服务器,解决算力短缺问题甲骨文(Oracle)和微软(Microsoft)最近讨论了一项不同寻常的协议,如果任何一家公司为使用大规模AI的云客户提供的计算能力不足,双方将相互租用服务器。这笔交易将帮助这两家互为竞争对手的云服务提供商满足市场对可运行AI软件的服务器日益增长的需求,这种需求已导致服务器短缺。在甲骨文董事长埃里森(LarryEllison)等高管敲定更广泛的AI战略之际,有关拟议交易的讨论一直在进行,其中包括如何使用AI软件(可能来自ChatGPT的开发商Openai)来改进公司的核心软件产品。甲骨文也在考虑内部开发AI软件,并将其出售给云客户。来源,来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

微软和NVIDIA合作在云端建立一个大规模超级AI计算机

微软和NVIDIA合作在云端建立一个大规模超级AI计算机通过用NVIDIA的全套AI套件加强Azure的基础设施,更多的企业将能够训练、部署和扩展AI--包括大型、先进的模型。NVIDIA企业计算副总裁ManuvirDas在一份声明中说:"人工智能技术的进步以及行业的采用正在加速,基础模型的突破引发了研究的浪潮,培养了新的创业公司,并实现了新的企业应用。"Azure实例已经采用了NVIDIAA100GPU与NVIDIAQuantum200Gb/sInfiniBand网络配对,未来的实例将集成NVIDIAH100GPU和NVIDIAQuantum-2400Gb/sInfiniBand网络。同时,NVIDIA的软件套件NVIDIAAIEnterprise已通过认证,并支持配备A100GPU的MicrosoftAzure实例,对配备H100GPU的Azure实例的支持将在未来的软件版本中增加。Azure企业客户还将获得NVIDIA的全套AI工作流程和软件开发工具包,并针对Azure进行优化,两家公司还将合作优化微软的DeepSpeed深度学习优化软件。这笔新交易还让NVIDIA有机会使用Azure虚拟机来推进其生成性人工智能的研究。...PC版:https://www.cnbeta.com.tw/articles/soft/1333025.htm手机版:https://m.cnbeta.com.tw/view/1333025.htm

封面图片

5分钟速览微软技术大会揭幕演讲:AI软硬件版图集大成者诞生

5分钟速览微软技术大会揭幕演讲:AI软硬件版图集大成者诞生一、抽丝剥茧:微软数据中心有啥新技术在发布会的第一个环节,纳德拉先提到微软自2013年开始总共购买了19吉瓦的可再生电力,接下来还准备再进一步,与一众风电、光伏、核聚变供应商合作,公司正朝着2025年所有数据中心使用“零碳排放”能源的目标。在网络连接方面,为了满足AI和未来工作负载的要求,微软正在生产新一代空芯光纤(HollowCoreFiber),利用空气作为光纤的导光介质,能够将传输速度提高47%。当然这也与微软的“钞能力”有关,公司在去年12月底收购了这条赛道的领跑者英国Lumenisity。再往前一步,纳德拉宣布AzureBoost数据中心硬件也将正式投入商用。该系统能够将存储和网络进程将主机转移到专用硬件和软件上,从而提高速度。接下来进入了发布会的第一个小高潮,纳德拉正式发布微软设计的首款CPUAzureCobalt。这款芯片基于Arm架构,具有高达128个核心。纳德拉也将其称为“云计算供应商中速度最快的芯片”。在发布芯片的同时,纳德拉也炫耀了一把微软与英伟达、AMD之间的紧密合作关系。Azure云服务将用上最新的英伟达H200芯片,同时由AMD旗舰芯片MI300X提供的算力将从今天开始向部分用户开放。纳德拉特别提到,现在OpenAI的GPT-4已经在MI300X上运行了。聊完两家合作伙伴,纳德拉又掏出了一款微软自研芯片——用于云端训练和推理的AzureMaiaAI加速器芯片。这款芯片采用5nm制程,晶体管数量达到1050亿个。当然光有强大的芯片还不够,微软也给AzureMaia重新设计了一整套散热系统。目前这套系统主要负责处理微软内部的算力需求,未来也将向第三方负载开放。二、微软OpenAI基于微软与AI软件龙头OpenAI的紧密关系,所以微软Azure云服务也将在第一时间向用户提供OpenAI的最新产品,例如GPT-4Trubo和多模态能力,以及基于GPT-4的微调。微软也在今天宣布推出“MAAS”产业模式(ModelsasaService/模型即服务),用户可以直接通过微软的服务来调用API、微调和部署各类开源大模型。微软也已经与Meta等一众大模型开发商达成合作,将Llama2等知名LLM作为一项服务推出。微软也在周三发布了自己训练的最新开源预训练模型Phi-2,参数达到27亿,在数理、逻辑等方面均显著好于上一代产品。三、黄仁勋登场纳德拉也在周三宣布,Azure云将发布英伟达的AI工坊服务(AIfoundryservice),为此他还请来了黄仁勋,讲述两家AI巨头从硬件到软件的全面合作。据悉,英伟达AI工坊涵盖英伟达的AI基础模型、NeMo框架和工具,以及英伟达DGXCloudAI超级计算和服务三大要素。微软用户将可以在Azure云上利用英伟达的AI软件生成并部署模型。黄仁勋表示,AI的第一波浪潮源自OpenAI等一批创业公司,而现在整个产业已经进入了第二波浪潮,由微软Copilot推动的企业级AI。在他看来,第三波也是最大的那一波将会是整个世界的重工业数字化,并从生成式AI中获益。四、重新发明数据处理:MicrosoftFabric纳德拉在周三宣布,正式向公众开放“一站式”数据处理平台MicrosoftFabric。这个平台的设计理念是汇总企业的所有数据资产,重塑现有企业处理数据的方式。同时Fabric的AI助理(Copilot)还能与Office、Teams等微软办公生态相融合,提供诸如“一键生成PPT”等功能。随着微软的朋友圈进一步扩大,接下来Fabric还将与一众SaaS公司打通数据通道。五、GPTs融合进入Copilot体系微软也在周三将“每个人的Copilot”这一愿景往前又推了一步,正式将必应Chat更名为Copilot。与职场打工人关系更密切的微软365服务也迎来重磅更新:现有的Copilot除了支持补丁以外,OpenAI在上周发布的GPTs也将融合进入微软Copilot体系。基于这一愿景,微软也在周三推出了CopilotStudio,帮助用户创建GPT和补丁、自定义工作流等,同时还能将SAP、OpenAIGPTs的软件服务融合进日常工作流中。纳德拉在发布会上透露,微软的办公协作软件Teams目前在全球已经有3.2亿用户。作为AI驱动职场转型的基础平台,微软也在周三展望了Teams即将上线的新功能。例如“元宇宙3D协作平台”Mesh将在明年1月正式向所有用户开放。值得一提的是,由于时间不够,所以打工人们最关心的“Office打工套件”并没有拿到在CEO发布会上露脸的机会,只能在微软官网默默地发布更新。例如Word即将推出“理解和评论”功能,用户可以通过提出诸如“我如何查看这个文档中发生的更改?”之类的问题,快速了解文档修订情况,以显示任何访问过该文档的人所做的更改和修订。PowerPoint则将推出“AI生成P图”功能,用户可以用企业的宣传物料(例如一顶帐篷),然后一键生成“放置在户外的帐篷”的图像。...PC版:https://www.cnbeta.com.tw/articles/soft/1397279.htm手机版:https://m.cnbeta.com.tw/view/1397279.htm

封面图片

微软季度营收和利润高于预期 得益于客户对 AI 需求强劲

微软季度营收和利润高于预期得益于客户对AI需求强劲受企业客户对人工智能和云产品的需求推动,微软季度销售额和利润增长超过预期。该公司在周四宣布,截至3月31日的第三财季,营收增长17%至619亿美元,每股收益2.94美元。分析师平均预估每股收益2.83美元,销售额为609亿美元。微软首席执行官SatyaNadell一直在推动将合作伙伴OpenAI的人工智能技术注入到微软整个产品线中。这个押注正在带来回报,一些客户把带文档归纳等功能的AI工具加入到自己的Office软件或Azure云订购服务,或购买更多能帮助他们构建和运行自己AI应用程序的云服务。SynovusTrustCo.的高级投资组合经理DanMorgan表示,“微软与生成式AI相关的收入已经成为一个关键的股价驱动因素。在人工智能方面,微软确实占据了主导地位。”

封面图片

穆迪与微软和OpenAI合作开发AI助手 帮助客户进行风险评估

穆迪与微软和OpenAI合作开发AI助手帮助客户进行风险评估穆迪CEO罗布·福伯(RobFauber)表示,MRA将面向分析师、银行家、顾问、研究人员和投资者等客户推出,今年晚些时候就会面向部分客户推出一个版本。福伯还表示,将来这款AI助手还可能用于借贷和承销等任务。穆迪今日还表示,已向其1.4万名员工推出了来自微软的AI助手技术,这些员工正在使用该技术来帮助搜索海量的内部信息,包括穆迪的Orbis数据库。微软是OpenAI的最大投资者。如今,越来越多的企业客户希望使用微软的AzureOpenAI服务,从云端访问OpenAI的AI模型。这些客户可以使用OpenAI的ChatGPT和GPT4语言生成和聊天机器人功能,为员工和客户编写自己的应用程序。微软表示,本季度的前一个半月,已有2000名新客户注册了这项服务。福伯说:“我们的客户必须应对一系列不同的风险,不仅仅是信用风险,还要了解与你做生意的人的声誉状况、网络风险、碳过渡、与气候变化相关的风险、金融犯罪和制裁等。而这项AI技术极具潜力,它能轻松地从这些不同的内容和数据集中提取信息,并将它们结合在一起,然后以一种非常自然、直观的方式提供见解。”微软全球金融服务副总裁BillBorden表示,穆迪一直在使用微软的Office和企业云工具,并将一些应用程序转移到Azure云中。福伯还称,穆迪也一直在与OpenAI直接合作,但这一次考虑到开发MAR助手的速度和规模,认为有必要同时与微软展开合作。...PC版:https://www.cnbeta.com.tw/articles/soft/1368117.htm手机版:https://m.cnbeta.com.tw/view/1368117.htm

封面图片

美银:上调微软目标价至 480 美元 加大 AI 应用推动季绩表现

美银:上调微软目标价至480美元加大AI应用推动季绩表现美银证券发表报告指,微软第二财季业绩稳固,加大AI应用推动季绩表现。期内收入受云端服务Azure推动而上升,Azure收入按年升28%,超出指引范围上限,主要受惠OpenAI及微软AI用量提升。商业办公室业务按年增长16%,符合预期,E5软件强势抵销宏观环境对办公室软件的销售压力。微软第三财季指引低于市场预期,主要受累于游戏前景较弱,但核心Azure及Office前景稳定。微软为该行美国软件行业首选,维持“买入”评级,目标价由450美元上调至480美元。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人