AI时代，重新回到“微软叙事”

AI时代，重新回到“微软叙事” 微软的 Copilot 宇宙已经如预期般展开｜图片来源：微软过去一年，背靠 OpenAI 大模型优先使用权的微软，用 Copilot 掀起了“副驾驶”风潮。人们使用软件，不再只是点击图形界面（GUI）图标找功能，而是通过与 AI 助手的对话，用自然语言开启交互。通过 Copilot，全球最大的软件厂商微软把 AI 生产力带给使用 Microsoft 365、Teams、Github 等微软全家桶用户的面前；同时，微软面向所有开发者推出了做 Copilot 的工具栈Copilot Stack，包括从底层算力到上层 AI 应用工具，让开发者做出更多软件的 Copilot 及其他 AI 应用，从而带给用户；21 日的 Build 前瞻会上，微软的嫡系硬件 Surface 成为 AI+PC 的排头兵，踢掉英特尔、全力拥抱高通，微软找到了 AI 时代“Wintel”组合的重要伙伴。在这场为开发者举办的会上，纳德拉主要向开发者介绍了 Copilot+PC 和 Copilot stack 的一系列更新，包括 Azure 云服务器、模型定制工具、模型商店、数据工具、AI 应用定制工具等各个层面的进展。必不可少地，OpenAI 首席执行官 Sam Altman 同样在大会现身，并呼吁开发者们把握住平台变革的机遇。值得玩味的是，去年的 Build 大会上，Altman 的出现让纳德拉或多或少表现出“受宠若惊”的神态；而今年的 Build 大会上，和 Altman 握手的是微软的 CTO Kevin Scott别误会，OpenAI对微软依然很重要，GPT-4o 依然是最好的大模型产品，但对微软来说，它和他都已不是唯一。对于正在将由 AI 引发的新一代计算变革，逐渐拉回到“微软叙事”上，纳德拉和微软已经掌握好了节奏。01从 Copilot到 Team Copilot相比于一年前，微软对 Copilot 的解读有了很大变化。微软副总裁 Charles Lamanna 在接受 The Verge 采访时解释道：“我们很快意识到，将 Copilot 限制为仅对话，极大地限制了 Copilot 目前的功能。”“如果你能让你的 Copilot 更加主动，并且能够在后台执行自动化任务，而不是让 Copilot 一直等着有人与它聊天，那会怎么样呢？”“2023 年微软 Copilot 专注于搜索数据、总结内容并生成新内容，2024 年的 Copilot 将非常注重可定制。”今天凌晨，微软正式推出“Team Copilot”，将 Copilot 从幕后的 AI问答助手辅，扩展为团队新的重要成员。微软官方博客概括了这一定义的转变：“副驾驶正在从与你一起工作的副驾驶，演变为为你工作的副驾驶。”这些 Copilot 将由某些事件触发，并使用企业自己的数据。微软的这一定义正是半年来 AI 圈火热的智能体（agent）概念，后者可以智能地自主执行复杂任务。微软展示了新版 Copilot 与人群展开合作，不再是过去的一对一体验。Team Copilot 智能副驾驶能够在会议中担任会议主持人，管理会议议程、跟踪会议时间并记录会议要点；也可以在聊天中作为协作者，提供重要信息、跟踪行动项目并解决未决问题。它还可以担任项目经理，帮助确保每个项目顺利推进，并及时通知团队进行输入。微软计划在今年晚些时候预览 Team Copilot。Team Copilot 可以和人类用户一起在群中工作 ｜图片来源：微软微软也允许企业和开发人员可以定制自己的 AI Copilot，像虚拟员工一样工作、自动执行任务，比如能执行诸如监控电子邮件收件箱、自动执行员工任务或录数据等任务。相应地，微软推出了 Microsoft Copilot Studio 及其扩展工具，让开发者能够根据特定任务和功能，构建主动响应数据和事件的“智能副驾驶”，同时也允许客户通过将其连接到新的数据源和应用程序来增强 Microsoft Copilot 智能副驾驶，从而扩展其功能。基于这类新功能的“智能副驾驶”可通过记忆和知识了解上下文、推理操作和输入，基于用户反馈进行学习，并在不知道如何处理时寻求帮助，从而独立管理复杂、长期运行的业务流程。微软方面称，现在从 IT 设备采购到销售和服务的客户接待，用户都可以让基于 Microsoft Copilot Studio 构建的智能副驾驶为其工作。而在消费端，微软+高通的 AI+PC 组合，结合微软的本地小模型，正在向终端 AI 的路上狂奔。02微软正在让 AI 进入现实“我们正在经历一次不同寻常的平台浪潮。”微软首席技术官兼 AI 执行副总裁 Kevin Scott 在 Build 开发者大会上如此称。这个所谓的平台浪潮，或许将从微软的小模型、OpenAI 的大模型以及其他一系列 AI 模型开始，以 Azure 云计算作为管道，以微软的 AI PC 作为终端载体，延伸至所有 PC 厂商的 Windows 设备。首先，微软 Azure AI 的一大产品是“模型即服务”。在 Build 开发者大会上，微软宣布，OpenAI 前几天发布的 GPT-4o 现可在 Azure AI Studio 中使用，也可作为 API 使用，这一多模态模型集成了文本、图像和音频处理。同时，微软开发的 AI 小语言模型（SLMs）Phi-3 系列，也发布了一款新的多模态模型Phi-3-vision，有 42 亿参数，能够输入图像和文本，并接收文本回复。例如，用户可以就图表提出问题，或就特定图像提出开放式问题。Phi-3 家族的“小模型”主要为有限计算资源和低延迟场景的生成型 AI 应用程序提供支持，可以在 Azure AI 和 AI 模型开源社区 Hugging Face 上找到，用哪个取决于任务的复杂性和可用的计算资源，可以说是主打一个“性价比”。这些模型可与微软的 PC 终端结合，微软希望开发者能够在 Windows 上构建新的 AI 应用程序，为 PC 设备提供差异化的 AI 体验。据称，微软现在有 40 多个 AI 模型在 Windows 11 上运行。微软高管在 Build 大会上自信地称，“Windows 是最开放的人工智能平台”。Phi-3 小模型的参数大小与相对质量 ｜图片来源：微软就在一天前，微软推出了专为 AI 设计的新型 Windows PC，即 Copilot+ PC，可实现 40+ TOPS（每秒万亿次操作）。微软称其“彻底重新构思了 PC 的整体架构，从芯片到操作系统，从应用层到云端，将AI置于核心地位，标志着 Windows 平台数十年来最重大的变革。”新的架构将 CPU、GPU 以及 NPU 集成，可以连接到 Azure 云中运行的大语言模型（LLM）与小语言模型（SLM）。据微软称，其“AI 工作负载性能提高了 20 倍”，与 MacBook Air 15 英寸对比，“持续多线程性能高出多达 58％”“本地视频播放电池续航时间长 20％”。在对 OpenAI 的利用上，按照微软的说法，每台 Copilot+ PC 都配有个人 AI 助手，键盘上将有新的 Copilot 键，在未来几周内，用户可以访问包括 GPT-4o 在内的最新模型，微软新 PC 的 AI 功能还包括：可以用“Recall”功能找到并记住用户在 PC 上看到的内容和做过的事情，以一条可以滚动浏览的时间线和各种快照呈现；可以用“Cocreator”在设备上直接生成和优化 AI 图像；可以用“Live Captions”生成实时字幕。微软 Copilot+ PC 的 Recall 功能 ｜微软其中，“Recall”的快照范围极广，涵盖用户在应用程序中做过的事情、实时会议里的通信、访问过的网站等等。在隐私问题上，微软称，“Recall”里的快照属于用户，保留在本地电脑上，用户可以删除单个快照，调整和删除时间范围，也可以选择过滤、不保存特定应用程序和网站。不过，据悉运行“Recall”所需的最小硬盘空间为 256 GB，并且必须有 50 GB 的可用空间。256 GB 设备上 Recall 的默认分配为 25 GB，可存储大约 3 个月的快照。在 AI 生成图像方面，之前，微软推出过网页版的图像生成工具，但可能会限制用户可以创建的图像数量，也存在隐私问题，Windows PC 内置“Cocreator”，通过 NPU 和本地小语言模型，可以实时生成新图像，或能以电脑本地的形式缓解用户的隐私焦虑。据介绍，微软还与 Adobe、 DaVinci Resolve、CapCut、LiquidText、djay Pro 等合作，用户此后可以在 PC 设备上运行这些程序的 AI... PC版： 手机版：

微软发布Copilot智能体 还带来了本机小语言模型

微软发布Copilot智能体 还带来了本机小语言模型 此外，微软还针对Copilot+ PC推出了本机小语言模型Phi-Silica。微软宣布，从6月份开始上市销售的所有Copilot+ PC都将嵌入Phi-Silica。这是一款微软专门为人工智能个人电脑所搭载神经处理单元（NPU）打造的模型，是公司所有模型中规模最小的，有33亿个参数。微软宣称，Copilot智能体并不会袖手旁观，等待命令，而是可以主动执行诸如监控电子邮件收件箱、自动化手动数据录入等任务。这代表了行业中所称的AI智能体在行为上的重大变革，也就是使聊天机器人能够独立智能地执行复杂任务。这是业界通常所说智能主体方面的一个重大变化，也就是让聊天机器人能自动执行一系列复杂任务。微软商业应用和平台副总裁查尔斯·拉曼纳(Charles Lamanna)在接受采访时解释：“我们很快意识到，仅限于用Copilot进行对话，极大地限制了它目前的功能。”“与其让Copilot等着别人和它聊天，不如让它更主动，让它能够在后台自动执行任务。”微软今天向极少数早期接入测试者展示了这一新能力，并计划在今年晚些时候在Copilot Studio公开进行预览。企业将能够创建能够处理IT支持、员工入职等多种任务的Copilot智能体。“Copilot正从与你并肩作战的助手，演变为为你工作的助手，”微软在一篇博客中说。这些Copilot智能体将由特定事件触发，并将结合企业自身的数据进行操作。以下是微软以新员工入职举例说明Copilot如何工作：想象你是一名新员工。一个积极主动的Copilot会向你打招呼，利用HR数据解答你的问题，把你介绍给同事，为你提供培训信息，帮助你填写表格，安排你第一周的会议。这样，HR及其他员工便可专注于他们的常规任务，无需再被行政管理工作所困扰。这种自动化可能会引发关于失业以及AI未来走向的问题和恐惧。拉曼纳认为，Copilot智能体可以去除工作中重复且单调的任务，如数据输入，而非完全替代工作。“工作和岗位是由许多不同而又多样的任务组成的。如果某人不断重复同一工作，那么这种工作很可能已经被现有技术自动化了。”拉曼纳说，“我们认为，随着Copilot和Copilot Studio的使用，一些任务将被完全自动化……但好消息是，大多数被自动化的任务都是没人真正想做的。”关于小型语言模型Phi-Silica，微软表示这款模型的首字延迟是每秒650个token，功耗大约为1.5瓦特。这意味着它不会大量占用系统资源，从而释放PC的CPU和GPU去处理其他计算任务。此外，Phi-Silica在生成Token时会重用NPU的KV缓存，并在CPU上运行，每秒能产生约27个Token。微软发言人表示，Phi-Silica的独特之处在于这是Windows首个本地部署的语言模型。它专为NPU优化，能够为设备带来极速的本地推理处理。这是一个关键时刻，标志着先进的AI技术将直接应用于Windows平台，支持第三方开发者创建卓越的第一方和第三方体验。这些体验将于今年秋季推向终端用户，从而提升Windows生态系统内的生产力和可访问性。Phi-Silica是微软Phi-3系列模型的第五款产品，其他四款产品是拥有38亿个参数的Phi-3 mini、70亿个参数的Phi-3 small、140亿个参数的Phi-3 medium和42亿个参数的Phi-3 vision。（辰辰） ... PC版： 手机版：

谷歌联手 Replit，挑战微软 AI 编程工具 GitHub Copilot

谷歌联手 Replit，挑战微软 AI 编程工具 GitHub Copilot GitHub Copilot 是一款由 OpenAI 的 Codex 语言模型驱动的编程工具，可以根据程序员输入的注释和函数，提供代码建议，就像一个超级自动补全功能。 现在谷歌也想参与其中。根据与 Replit 的协议，谷歌将给予这家初创公司访问其巨大计算资源和定制的 AI 模型的权限。作为回报，谷歌将从谷歌云上托管和提供 Replit 的代码编辑软件。 具体来说，Replit 的开发者将通过 GhostwriterReplit 的软件开发 AI，获得谷歌云基础设施、服务和基础模型的访问权限，而谷歌云和 Workspace 的开发者将获得 Replit 的协作代码编辑平台的访问权限。 Replit 的 Ghostwriter 代码生成器直接集成到该公司的基于浏览器的在线 IDE 中，它可以自动补全代码，并响应自然语言查询。Replit 首席执行官 Amjad Masad 认为这有助于程序员提高生产力，并可以帮助人们更容易地修复错误和与同事协作。 Replit 表示其支持超过 2000 万开发者，并声称其 Ghostwriter 机器人帮助生成了用户 30% 以上的代码。与此同时，微软正计划将其 GitHub Copilot 模型升级到 GPT-4。 AI 编程工具随着时间的推移在不断改进，除了代码补全，它们现在还可以根据自然语言文本中的指令生成代码。然而这些工具并不完美，即使它们可以帮助那些编程经验较少的人写代码，开发者仍然需要有足够的技术知识来判断其输出是否正确。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

亚马逊编程助手 CodeWhisperer 免费供个人开发者使用

亚马逊编程助手 CodeWhisperer 免费供个人开发者使用 亚马逊宣布其 AI 编程助手GA（Generally Available），所有开发者可免费使用个人版本。CodeWhisperer 和微软/GitHub 的 AI 编程助手 Copilot 类似，使用开源代码库进行训练，根据上下文向开发者提供代码完成建议。CodeWhisperer 支持 、、CLion、GoLand、WebStorm、Rider、PhpStorm、PyCharm、RubyMine 和 DataGrip IDEs 等开发工具。亚马逊称，测试者的试用显示其编程速度平均提高了 57%。 CodeWhisperer 向企业级客户提供了专业版本，其中包含了额外的功能，如 SSO 和安全扫描等等。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Google I/O 2023开发者大会汇总

Google I/O 2023开发者大会汇总 ▪Gmail、Maps、Photos 等AI升级 ▪语言模型PaLM2亮相，Bard能力跃升 ▪谷歌工作套件迎来“Duet AI”，对标微软Copilot ▪谷歌搜索引入生成式AI ▪可折叠的Pixel手机来源， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

微软发布全新多模态人工智能小语种模型Phi-3-vision

微软发布全新多模态人工智能小语种模型Phi-3-vision 新模型名为 Phi-3-vision，顾名思义，这种 SML 不仅可以处理文本提示，还可以接受图像和文本提示来生成问题答案。微软表示，使用这种模式的人可以获得有关他们提交的图表的问题答案，也可以就 Phi-3-vision 模式接收到的图像提出任何开放式问题。Phi-3-vision 包括 42 亿个参数，比 38 亿个参数的 Phi-3 迷你模式大，但比 70 亿个参数的 Phi-3 小型模式和 140 亿个参数的 Phi-3 中型模式小得多。微软表示，Phi-3-vision 可以回答有关"一般视觉推理任务以及图表、图形和表格推理"的问题。新的Phi-3-vision模型目前是预览版，但还不知道何时会全面上市。不过，Phi-3 Mini、Phi-3 Small 和 Phi-3 Medium 现在都可以通过微软的 Azure AI 模型即服务进行访问。在 Build 2024 的相关新闻中，微软表示 Azure AI Studio 现已全面可用。该公司表示：pro-code 平台支持负责任的生成式人工智能开发，包括开发协同驾驶员，以支持复杂的应用程序和任务，如内容生成、数据分析、项目管理、日常任务自动化等。该公司表示，Azure AI Studio 支持"代码优先"功能和"友好的用户界面"，因此开发人员可以选择如何在自己的编码项目中使用这些工具。微软还宣布，OpenAI 的最新大型语言模型ChatGPT-4o 现在可以通过 Azure AI Studio 和 API 普遍使用。 ... PC版： 手机版：