：基于开源的 AI 软件工程师，可以理解人类的高级指令，并根据这些指令，分解成步骤，进行相关信息的研究，并编写代码实现目标。

：基于开源的 AI 软件工程师，可以理解人类的高级指令，并根据这些指令，分解成步骤，进行相关信息的研究，并编写代码实现目标。 Devika的系统架构由以下关键组件组成： 用户界面：基于网络的聊天界面，用于与 Devika 交互、查看项目文件以及监控代理的状态。 Agent Core：编排AI规划、推理和执行过程的核心组件。它与各种子代理和模块通信以完成任务。 大型语言模型：Devika 利用Claude、GPT-4和Ollama 的本地 LLM等最先进的语言模型进行自然语言理解、生成和推理。 规划和推理引擎：负责将高层目标分解为可操作的步骤，并根据当前环境做出决策。 研究模块：利用关键字提取和网页浏览功能来收集当前任务的相关信息。 代码编写模块：根据计划、研究结果和用户需求生成代码。支持多种编程语言。 浏览器交互模块：使 Devika 能够根据需要导航网站、提取信息并与 Web 元素交互。 知识库：存储和检索项目特定信息、代码片段和学到的知识，以便高效访问。 数据库：保存项目数据、代理状态和配置设置。

微软上周的一篇论文，深入探讨了AI智能体的最新实现进展。

微软上周的一篇论文，深入探讨了AI智能体的最新实现进展。 对 Agents 有兴可以看看，一篇论文了解 Agents 。 详细介绍了 Agents 的主要分类、定义以及设计 Agents 系统的时候需要注意的问题。 Agents 的分类： 单一Agent架构：这些架构由一个语言模型驱动，并将自行执行所有推理、规划和工具执行。 多Agent架构：这些架构涉及两个或更多代理，每个代理可以利用相同的语言模型或一组不同的语言模型。这些代理可能可以访问相同的工具或不同的工具。每个代理通常有自己的人物形象。 多Agent架构又可分为垂直架构和水平架构： 垂直架构：在这种结构中，一个代理人充当领导者，其他代理人直接向他们汇报。 水平架构：在这种结构中，所有代理都被视为平等的一部分，并参与关于任务的一组讨论。 有效Agents的两个关键考虑因素： 推理和规划： AI代理要有效地与复杂环境互动、做出自主决策并在各种任务中协助人类，它们需要强大的推理能力。 规划，需要强大的推理能力，通常分为五种主要方法：任务分解、多计划选择、外部模块辅助规划、反思和完善以及记忆增强规划。 有效工具调用： 代理抽象相对于提示基础语言模型的一个关键优势是代理能够通过调用多个工具来解决复杂问题。 这些工具使代理能够与外部数据源交互，从现有 API 发送或检索信息等。需要大量工具调用的问题通常与需要复杂推理的问题相辅相成。 论文地址：

ChatGPT 更新汇总

ChatGPT 更新汇总 • 每个人都能定制GPT：用户可以为特定任务创建定制版本的 ChatGPT ，且无需编写代码。断了部分一部分套壳定制产品的活路 • 即将推出 GPT Store：所有用户可上传自定义的 ChatGPT ，创作者可参与收益分成 • GPT-4 API 升级为 GPT-4 Turbo： · 上下文长度从 8K 提升至 128K； · 多模态视觉、DALL·E 3 和语音合成 API 一起开放； · 知识库更新到 2023 年 4 月； · 对部分企业开放 GPT4 微调 • 降价： · GPT4 输入降低 70%，输出降低 50%； · 与 GPT-4 相比。Turbo 整体价格降低超过 2.75 倍； · 降低 GPT-3.5 Turbo 16K的价格，输入降低 4 倍，输出降低 3 倍 • 开源语音和图像模块：开源 WhisperV3、Consistency Decoder • 发布 GPT Assistant API：可以帮助开发者在自己的应用程序中构建 Agent，包含代码解释器、知识库、函数调用 • 数据：200 万开发者和 1 亿周活跃用户，约 90% 的财富 500 强公司正在内部使用这些工具

AI Agents大爆发：软件2.0雏形初现，OpenAI的下一步

AI Agents大爆发：软件2.0雏形初现，OpenAI的下一步 本文编译自 Lilian Weng 的个人博客，Lilian 现在是 OpenAI 的 Head of Safety Systems，之前还领导过 OpenAI 的 Applied AI 团队。 AI Agent 被认为是 OpenAI 发力的下一个方向。OpenAI 的联合创始人 Andrej Karpathy 在近期的一次公开活动上提到“相比模型训练方法，OpenAI 内部目前更关注 Agent 领域的变化，每当有新的 AI Agents 论文出来的时候，内部都会很兴奋并且认真地讨论”，而在更早之前，Andrej还评价 AutoGPT 是 Prompt Engineering 下一阶段的探索方向。 Lilian Weng 的这篇 Blog 可以说是目前 AI Agent 领域优质论文的系统综述，她将 Agents 定义为 LLM、记忆（Memory）、任务规划（Planning Skills）以及工具使用（Tool Use） 的集合，其中 LLM 是核心大脑，Memory、Planning Skills 以及 Tool Use 等则是 Agents 系统实现的三个关键组件，在文章中，她还对每个模块下实现路径进行了细致的梳理和说明。到今天，构建 AI Agent 的工具箱已经相对完善，但仍需要面对一些限制，例如上下文长度、长期规划和任务分解，以及 LLM 能力的稳定性等。 从今年 3 月 AutoGPT 推出后，Generative Agent、GPT-Engineer、BabyAGI 项目的爆发将 LLM 的叙事代入了新的阶段，从“超级大脑”到真正有可能成为“全能助手”。Lillian 在自己的 Twitter 中也认为“This is probably just a new era”。 |

下一代Windows系统曝光：基于GPT-4V Agent跨应用调度 代号UFO

下一代Windows系统曝光：基于GPT-4V Agent跨应用调度 代号UFO 还有像利用多个来源文本，比如word文档、图像文本内容，撰写电子邮件。网友表示：这才是Windows级别应有的创新能力第一个Windows Agent来了这样一个智能体叫做UFO，全名“UI-Focused”，是一个专为Windows OS（操作系统）交互设计、面向用户界面（UI）的智能体框架，可以在单个或者多个应用程序中操作，由MSRA、微软AI与应用研究团队等共同打造。用户就可以通过自然语言指令，来操作App的用户界面。据介绍，UFO是第一个专为Windows OS环境中的任务完成量身定制的UI Agent。就拿删除PPT上的所有注释为例。传统方式需要一页一页手动删除注释。如果PPT巨长无比，这个过程就会又久又无聊，让人瞬间暴躁。但UFO得到指令后，简化了整个过程。它先是提议用“删除所有演示笔记”功能，这个功能因为按钮位置藏得很深，经常被用户忽视。而后，UFO导航到“File”选项，对后台视图进行访问；然后，再平滑地切换到“info”菜单，单击“检查问题”按钮，并选择“检查文档”，开始检查文档中所有包含的注释。紧接着，UFO识别到菜单地步的“删除所有演示笔记”，向下滚动定位到其位置，启动单击功能。考虑到误删的可能性，UFO这里有一道保护功能，需要用户再次确定是否真的要删除所有注释。用户一旦确认，所有笔记就“”的一下都没有了～如PowerPoint这般，文章中对其它几个场景进行了图文并茂的展示。比如读一篇PDF：设计PPT格式：下载Docker拓展：发条推文：搜索总结：读篇paper：以及怎么利用UFO在Word文档里提取文本、描述图像、撰写然后发送电子邮件等。研究团队在9个常用的Windows应用程序上对UFO进行了测试，包括Outlook、Photos、PPT、Word等，涵盖了Windows用户的高频使用场景，能够测试工作、交流、编码、阅读、网页浏览等目的。对于每个应用程序，团队设计了5个不同的请求，共45个；另外还设计了5个设计跨多个交互应用程序的请求。也就是说，共产生了50个请求，每个应用程序至少有一个请求链接到另一个后续请求，提供全面评估UFO的互动模式。在评估指标方面，则从成功度、步骤、完成率和保障率这几个角度来评估UFO。为了全面评估UFO的性能，团队开发了名为WindowsBench的测试基准。考虑到没有现成的Windows Agent，团队选择GPT-3.5和GPT-4作为基座模型，并且指示它们提供一步一步的指导来完成用户请求。值得注意的是，UFO在WindowsBench上成功率达到了86%，成倍超过了GPT-4因此UFO可以被定位为一个高效的Agent。而UFO的完成率也是最好的，这表明它有能力采取更精确的动作；此外，UFO完成任务的步骤也是最少的，安全度也是最高的。最后，9个场景从4个角度在WindowsBench的详细得分如下：三个模块组成既然如此，这样一个操作系统级别的Agent，究竟是如何实现的呢？首先，它理解用户的自然语言要求，然后将其分解为一系列子任务。然后观察用户界面，并对其控制元素进行操作，以实现总体目标。既然如此，又是如何实现的呢？架构上看，UFO是个双Agent框架，主要有三个模块：应用智能体（AppAgent），选择一个应用程序满足用户请求。行动智能体（ActAgent），负责在所选应用中反复执行任务。交互控制，无需人工干预，全自动执行。在收到用户请求后，AppAgent会对需求进行分析。除此之外，还有这些信息作为输入：桌面截图、App信息、记忆以及示例。其中，UFO为AppAgent提供了完整的桌面截图和可用应用程序列表以供参考。然后从当前激活的应用程序中选择一个合适的应用程序，并制定一个全局实现计划，将其传递给ActAgent。一旦找到合适的应用程序，App就会出现在桌面上。随后ActAgent启动操作。在每个操作选择之前，UFO都会捕获当前应用程序用户界面窗口的屏幕截图，并标注所有可用控件。此外，UFO还记录了每个控件的相关信息，供 ActAgent观察。ActAgent的任务是选择要操作的控件，然后通过控件交互模块选择要在所选控件上执行的特定操作。这一决定是基于 ActAgent 的观察结果、先前计划和操作记忆做出的。这个递归过程一直持续到用户请求在所选应用程序中成功完成为止。至此，用户请求的一个阶段结束。如果需要跨越多个应用程序，那么在ActAgent 完成当前任务之后，ActAgent 将把任务委托给 AppAgent，以便切换到不同的应用程序，从而启动请求的第二阶段。用户可以选择提出新的请求，促使 UFO 通过重复上述过程来处理新任务。研究团队依据日常鼠标操作，还开发了自定义操作，比如单击、选择文本、滚动等，以此来完成对于控件的操作。主要有这些控制类型。微软全球资深副总裁、MSRA副院长领衔最后介绍一下UFO的研究团队，其中大多数都为华人。通讯作者Chaoyun Zhang，是微软DKI（Data、Knowledge、Intelligence，数据/知识/情报）*小组的高级研究员。他于2020年，在爱丁堡大学获得硕士和博士学位，研究兴趣包括时间序列建模、时空数据挖掘、因果推理以及云服务和 AIOps的可解释机器学习。Chaoyun Zhang还是华中科技大学校友，出国前在华中科技大学电子信息与通信学院取得学士学位。作者Liqun Li，现为微软DKI组首席研究员。他先毕业于清华大学计算机科学与技术系，取得学士学位；而后又在2012年获得中国科学院软件研究所博士学位。期间，Liqun Li曾作为访问学者前往密歇根州立大学。作者Saravan Rajmohan，Miceosoft 365的AI及应用研究的合作伙伴总监。他领导应用研究团队与Microsoft的各个研究小组进行深入协作，将算法研究与AI/ML技术和硬件创新相结合作者张冬梅，MSRA（微软亚洲研究院）常务副院长，微软杰出首席科学家。她从2004年起加入MSRA，从事和领导DKI领域的研究工作，近几年，团队将研究扩大到商业智能领域。作者张祺，微软全球资深副总裁。此前，张祺曾任微软（亚洲）互联网工程院常务副院长，兼任微软移动联新互联网服务有限公司董事长，负责微软互联网业务及人工智能平台在亚洲的团队。同时，他也是微软中国首位“全球杰出工程师”。最后，简单介绍一下多位作者的工作单位：MSRA的DKI组。DKI是Data、Knowledge、Intelligence的简写。该小组致力于AI、数据分析、数据交互、数据可视化的研究，探索全新的数据分析、展示、交互技术，让数据和数据中的发现故事被高效地理解、广泛地传播。团队与微软产品如Excel，PowerPoint等深度合作，常年在各个领域的顶会和期刊上发表论文。 ... PC版： 手机版：

最强开源大模型一夜易主：谷歌Gemma 7B碾压Llama 2 13B 重燃开源之战

最强开源大模型一夜易主：谷歌Gemma 7B碾压Llama 2 13B 重燃开源之战 与此同时，谷歌还放出了16页的技术报告。谷歌表示，Gemma这个名字源自拉丁语「gemma」，也就是「宝石」的意思，似乎是在象征着它的珍贵性。历史上，Transformers、TensorFlow、BERT、T5、JAX、AlphaFold和AlphaCode，都是谷歌为开源社区贡献的创新。而谷歌今天在全球范围内同步推出的Gemma，必然会再一次掀起构建开源AI的热潮。同时也坐实了OpenAI「唯一ClosedAI」的名头。OpenAI最近刚因为Sora火到爆，Llame据称也要有大动作，谷歌这就又抢先一步。硅谷大厂，已经卷翻天了！Hugging Face CEO也跟帖祝贺。还贴出了Gemma登上Hugging Face热榜的截图。Keras作者François Chollet直言：最强开源大模型，今日易主了。有网友已经亲自试用过，表示Gemma 7B真是速度飞快。谷歌简直是用Gemini拳打GPT-4，用Gemma脚踢Llama 2！网友们也是看热闹不嫌事大，召唤Mistral AI和OpenAI今晚赶快来点大动作，别让谷歌真的抢了头条。（手动狗头）可以看到，Gemma-7B模型在涵盖一般语言理解、推理、数学和编码的8项基准测试中，性能已经超越了Llama 2 7B和13B！并且，它也超越了Mistral 7B模型的性能，尤其是在数学、科学和编码相关任务中。在安全性方面，经过指令微调的Gemma-2B IT和 Gemma-7B IT模型，在人类偏好评估中都超过了Mistal-7B v0.2模型。特别是Gemma-7B IT模型，它在理解和执行具体指令方面，表现得更加出色。这次，除了模型本身，谷歌还提供了一套工具帮助开发者，确保Gemma模型负责任的使用，帮助开发者用Gemma构建更安全的AI应用程序。- 谷歌为JAX、PyTorch和TensorFlow提供了完整的工具链，支持模型推理和监督式微调（SFT），并且完全兼容最新的Keras 3.0。- 通过预置的Colab和Kaggle notebooks，以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM等流行工具的集成，用户可以轻松开始探索Gemma。- Gemma模型既可以在个人笔记本电脑和工作站上运行，也可以在Google Cloud上部署，支持在Vertex AI和Google Kubernetes Engine (GKE) 上的简易部署。- 谷歌还对Gemma进行了跨平台优化，确保了它在NVIDIA GPU和Google Cloud TPU等多种AI硬件上的卓越性能。并且，使用条款为所有组织提供了负责任的商业使用和分发权限，不受组织规模的限制。不过，Gemma并没有能够在所有的榜单中，都拿下SOTA。在官方放出的评测中，Gemma 7B在MMLU、HellaSwag、SIQA、CQA、ARC-e、HumanEval、MBPP、GSM8K、MATH和AGIEval中，成功击败了Llama 2 7B和13B模型。相比之下，Gemma 7B在Boolq测试中，只与Mistral 7B打了个平手。而在PIQA、ARC-c、Winogrande和BBH中，则不敌Mistral 7B。在OBQA和trivalent QA中，更是同时被7B和13B规模的Llama 2 7B斩于马下。谷歌这次发布的两个版本的Gemma模型，70 亿参数的模型用于GPU和TPU上的高效部署和开发，20亿参数的模型用于CPU和端侧应用程序。在18个基于文本的任务中的11个中，Gemma都优于相似参数规模的开源模型，例如问答、常识推理、数学和科学、编码等任务。模型架构方面，Gemma在Transformer的基础上进行了几项改进，从而在处理复杂任务时能够展现出更加出色的性能和效率。- 多查询注意力机制其中，7B模型采用了多头注意力机制，而2B模型则使用了多查询注意力机制。结果显示，这些特定的注意力机制能够在不同的模型规模上提升性能。- RoPE嵌入与传统的绝对位置嵌入不同，模型在每一层都使用了旋转位置嵌入技术，并且在模型的输入和输出之间共享嵌入，这样做可以有效减少模型的大小。- GeGLU激活函数将标准的ReLU激活函数替换成GeGLU激活函数，可以提升模型的表现。- 归一化化位置（Normalizer Location）每个Transformer子层的输入和输出都进行了归一化处理。这里采用的是RMSNorm作为归一化层，以确保模型的稳定性和效率。架构的核心参数如下：两种规模的参数如下：Gemma 2B和7B分别针对来自网络文档、数学和代码的主要英语数据的2T和6Ttoken，进行了训练。与Gemini不同，这些模型不是多模态的，也没有针对多语言任务的SOTA进行训练。谷歌使用了Gemini的SentencePiece分词器的子集，来实现兼容性。团队对Gemma 2B和7B模型进行了微调，包括有监督的微调（SFT）和基于人类反馈的强化学习（RLHF）。在有监督的微调阶段，研究者使用了一个由纯文本、英文、由人工和机器生成的问题-答案对组成的数据集。在强化学习阶段，则是使用了一个基于英文偏好数据训练出的奖励模型，以及一套精心挑选的高质量提示作为策略。研究者发现，这两个阶段对于提升模型在自动评估和人类偏好评估中的表现，至关重要。研究者根据基于LM的并行评估，选择了数据混合物进行监督微调。给定一组保留prompt，研究者会从测试模型中生成响应，从基准模型中生成对相同提示的响应，随机洗牌，然后要求一个更大、能力更强的模型在两种响应之间表达偏好。研究者构建了不同的提示集，以突出特定的能力，如遵循指令、实事求是、创造性和安全性。我们使用了不同的基于LM的自动评委，采用了一系列技术，如思维链提示、使用评分标准和章程等，以便与人类偏好保持一致。研究者进一步利用来自人类反馈的强化学习（RLHF），对已经进行过有监督微调的模型进行了优化。他们从人类评估者那里收集他们的偏好选择，并在 Bradley-Terry 模型的基础上，训练了一个奖励函数，这与Gemini项目的做法相似。研究者采用了一个改进版的REINFORCE算法，加入了 Kullback–Leibler 正则化项，目的是让策略优化这个奖励函数，同时保持与最初调整模型的一致性。与之前的有监督微调阶段相似，为了调整超参数并进一步防止奖励机制被滥用，研究者使用了一个高性能模型作为自动评估工具，并将其与基准模型进行了直接对比。谷歌在多个领域对Gemma进行了性能评估，包括物理和社会推理、问答、编程、数学、常识推理、语言建模、阅读理解等。Gemma2B和7B模型与一系列学术基准测试中的多个外部开源大语言模型进行了比较。在MMLU基准测试中，Gemma 7B模型不仅超过了所有规模相同或更小的开源模型，还超过了一些更大的模型，包括Llama 2 13B。然而，基准测试的制定者评估人类专家的表现为89.8%，而Gemini Ultra是首个超越此标准的模型，这表明Gemma在达到Gemini和人类水平的性能上，还有很大的提升空间。并且，Gemma模型在数学和编程的基准测试中表现尤为突出。在通常用于评估模型分析能力的数学任务中，Gemma 模型在GSM8K和更具挑战性的 MATH基准测试上至少领先其他模型10分。同样，在HumanEval上，它们至少领先其他开源模型6分。Gemma甚至在MBPP上超过了专门进行代码微调的CodeLLaMA 7B模型的性能（CodeLLaMA得分为41.4%，而 Gemma 7B得分为44.4%）。近期研究发现，即便是经过精心对齐的人工智能模型，也可能遭受新型对抗攻击，这种攻击能够规避现有的对齐措施。这类攻击有可能使模型行为异常，有时甚至会导致模型重复输出它在训练过程中记住的数据。因此，研究者专注于研究模型的「可检测记忆」能力，这被认为是评估模型记忆能力的一个上限，并已在多项研究中作为通用定义。研究者对Gemma预训练模型进行了记忆测试。具体来说，他们从每个数据集中随机选择了10,000篇文档，并使用文档开头的50个词元作为模型的prompt。测试重点是精确记忆，即如果模型能够基于输入，精确地生成接下来的50token，与原文完全一致，便认为模型「记住了」这段文本。此外，为了探测模型是否能够以改写的形式记忆信息，研究者还测试了模型的「近似记忆」能力，即允许在生成的文本和原文之间存... PC版： 手机版：