开源Agent框架,用于操作智能手机应用,具有学习能力,可以通过自主探索或观察人工演示来学习操作新的应用,并生成知识库以执行复杂

开源Agent框架,用于操作智能手机应用,具有学习能力,可以通过自主探索或观察人工演示来学习操作新的应用,并生成知识库以执行复杂任务。 该框架通过简化的动作空间模拟人类交互,无需后端访问,适用于各种应用。 | #框架

相关推荐

封面图片

-轻量级LLM交互框架:简化生产代码中语言模型的应用,提供结构化Pydantic模型与非结构化文本输出的互操作性,支持LiteL

-轻量级LLM交互框架:简化生产代码中语言模型的应用,提供结构化Pydantic模型与非结构化文本输出的互操作性,支持LiteLLM等语言模型,定义提示为Python函数,支持异步批处理和快速迭代,适用于大规模生成任务 | #框架

封面图片

:旨在帮助小白开发者通过实践构建个人知识库助手,学习大模型应用开发的基础入门

:旨在帮助小白开发者通过实践构建个人知识库助手,学习大模型应用开发的基础入门 主要内容包括: 大模型简介,何为大模型、大模型特点是什么、LangChain 是什么,针对小白开发者的简单介绍; 如何调用大模型 API,本节介绍了国内外知名大模型产品 API 的多种调用方式,包括调用原生 API、封装为 LangChain LLM、封装为 Fastapi 等调用方式,同时将包括百度文心、讯飞星火、智谱AI等多种大模型 API 进行了统一形式封装; 大模型开发流程及架构,大模型应用开发的基本流程、一般思想和本项目的架构分析; 数据库搭建,不同类型知识库文档的加载、处理,向量数据库的搭建; Prompt 设计,如何设计 Prompt 来让大模型完成特定任务,Prompt Engineering 的原则和技巧有哪些; 验证迭代,大模型开发如何实现验证迭代,一般的评估方法有什么; 前后端开发,如何使用 Gradio、FastAPI 等框架快速开发大模型 Demo,展示应用能力。

封面图片

SSLRec是一个基于 PyTorch 的深度学习框架,用于通过自我监督学习技术增强的推荐系统。包含常用的数据集、用于数据处理、

SSLRec是一个基于 PyTorch 的深度学习框架,用于通过自我监督学习技术增强的推荐系统。包含常用的数据集、用于数据处理、训练、测试、评估和最先进的研究模型的代码脚本。 SSLRec提供了大量实用函数和易于使用的界面,简化了推荐模型的开发和评估。 突出特点 灵活的模块化架构。SSLRec 库采用模块化架构,可以轻松定制和组合模块。这使用户能够创建适合其特定需求和要求的个性化推荐模型。 多样化的推荐场景。SSLRec 库是一个多功能工具,适合有兴趣在不同推荐系统研究领域构建有效推荐模型的研究人员和从业者。 综合最先进的模型。我们的 SSLRec 框架为各种场景提供了广泛的 SSL 增强推荐模型。研究人员可以使用先进技术评估这些模型,并将其作为推动推荐系统领域创新的基础。 统一数据馈送和标准评估协议。SSLRec框架具有统一的数据馈送器和标准评估协议,可以轻松加载和预处理来自各种来源和格式的数据,同时确保对推荐模型的客观和公平评估。 丰富的实用功能。SSLRec 库提供了大量实用函数,可以简化推荐模型的开发和评估。这些功能结合了推荐系统的常见功能以及图操作、网络架构和损失函数的自监督学习。 易于使用的界面。我们提供了一个用户友好的界面,可以简化推荐模型的训练和评估。这使得研究人员和从业者能够轻松高效地试验各种模型和配置。 | #框架

封面图片

Neutralinojs – 使用 JavaScript 构建轻量级跨平台桌面应用程序。 ​​​|| #框架

Neutralinojs – 使用 JavaScript 构建轻量级跨平台桌面应用程序。 ​​​|| #框架 Neutralinojs 是一个轻量级、可移植的桌面应用程序开发框架。它允许你使用 JavaScript、HTML 和 CSS 开发轻量级的跨平台桌面应用程序。你可以使用任何编程语言(通过扩展 IPC)扩展 Neutralinojs,并将 Neutralinojs 用作任何源文件的一部分(通过子进程 IPC)。 在 Electron 和 NWjs 中,你必须安装 Node.js 和数百个依赖库。嵌入式 Chromium 和 Node 让简单的应用变得臃肿。Neutralinojs 提供了一个轻量级和可移植的 SDK,它是 Electron 和 NW.js 的替代品。Neutralinojs 不捆绑 Chromium,而是使用操作系统中现有的 Web 浏览器库(例如:Linux 上的 gtk-webkit2)。Neutralinojs 为本机操作实现了一个 WebSocket 连接,并嵌入了一个静态 Web 服务器来提供 Web 内容。此外,它还为开发人员提供了一个内置的 JavaScript 客户端库。 功能: 便携式开发套件。 应用程序开发人员无需编译。 用户不需要额外的依赖项。 原生功能支持:读取文件、运行系统命令等。 与基于铬节点的框架相比,资源占用更少。 跨平台:Neutralinojs 应用程序适用于 Linux、Windows、macOS 和 Web。 简单灵活的开发环境。

封面图片

下一代Windows系统曝光:基于GPT-4V Agent跨应用调度 代号UFO

下一代Windows系统曝光:基于GPT-4V Agent跨应用调度 代号UFO 还有像利用多个来源文本,比如word文档、图像文本内容,撰写电子邮件。网友表示:这才是Windows级别应有的创新能力第一个Windows Agent来了这样一个智能体叫做UFO,全名“UI-Focused”,是一个专为Windows OS(操作系统)交互设计、面向用户界面(UI)的智能体框架,可以在单个或者多个应用程序中操作,由MSRA、微软AI与应用研究团队等共同打造。用户就可以通过自然语言指令,来操作App的用户界面。据介绍,UFO是第一个专为Windows OS环境中的任务完成量身定制的UI Agent。就拿删除PPT上的所有注释为例。传统方式需要一页一页手动删除注释。如果PPT巨长无比,这个过程就会又久又无聊,让人瞬间暴躁。但UFO得到指令后,简化了整个过程。它先是提议用“删除所有演示笔记”功能,这个功能因为按钮位置藏得很深,经常被用户忽视。而后,UFO导航到“File”选项,对后台视图进行访问;然后,再平滑地切换到“info”菜单,单击“检查问题”按钮,并选择“检查文档”,开始检查文档中所有包含的注释。紧接着,UFO识别到菜单地步的“删除所有演示笔记”,向下滚动定位到其位置,启动单击功能。考虑到误删的可能性,UFO这里有一道保护功能,需要用户再次确定是否真的要删除所有注释。用户一旦确认,所有笔记就“”的一下都没有了~如PowerPoint这般,文章中对其它几个场景进行了图文并茂的展示。比如读一篇PDF:设计PPT格式:下载Docker拓展:发条推文:搜索总结:读篇paper:以及怎么利用UFO在Word文档里提取文本、描述图像、撰写然后发送电子邮件等。研究团队在9个常用的Windows应用程序上对UFO进行了测试,包括Outlook、Photos、PPT、Word等,涵盖了Windows用户的高频使用场景,能够测试工作、交流、编码、阅读、网页浏览等目的。对于每个应用程序,团队设计了5个不同的请求,共45个;另外还设计了5个设计跨多个交互应用程序的请求。也就是说,共产生了50个请求,每个应用程序至少有一个请求链接到另一个后续请求,提供全面评估UFO的互动模式。在评估指标方面,则从成功度、步骤、完成率和保障率这几个角度来评估UFO。为了全面评估UFO的性能,团队开发了名为WindowsBench的测试基准。考虑到没有现成的Windows Agent,团队选择GPT-3.5和GPT-4作为基座模型,并且指示它们提供一步一步的指导来完成用户请求。值得注意的是,UFO在WindowsBench上成功率达到了86%,成倍超过了GPT-4因此UFO可以被定位为一个高效的Agent。而UFO的完成率也是最好的,这表明它有能力采取更精确的动作;此外,UFO完成任务的步骤也是最少的,安全度也是最高的。最后,9个场景从4个角度在WindowsBench的详细得分如下:三个模块组成既然如此,这样一个操作系统级别的Agent,究竟是如何实现的呢?首先,它理解用户的自然语言要求,然后将其分解为一系列子任务。然后观察用户界面,并对其控制元素进行操作,以实现总体目标。既然如此,又是如何实现的呢?架构上看,UFO是个双Agent框架,主要有三个模块:应用智能体(AppAgent),选择一个应用程序满足用户请求。行动智能体(ActAgent),负责在所选应用中反复执行任务。交互控制,无需人工干预,全自动执行。在收到用户请求后,AppAgent会对需求进行分析。除此之外,还有这些信息作为输入:桌面截图、App信息、记忆以及示例。其中,UFO为AppAgent提供了完整的桌面截图和可用应用程序列表以供参考。然后从当前激活的应用程序中选择一个合适的应用程序,并制定一个全局实现计划,将其传递给ActAgent。一旦找到合适的应用程序,App就会出现在桌面上。随后ActAgent启动操作。在每个操作选择之前,UFO都会捕获当前应用程序用户界面窗口的屏幕截图,并标注所有可用控件。此外,UFO还记录了每个控件的相关信息,供 ActAgent观察。ActAgent的任务是选择要操作的控件,然后通过控件交互模块选择要在所选控件上执行的特定操作。这一决定是基于 ActAgent 的观察结果、先前计划和操作记忆做出的。这个递归过程一直持续到用户请求在所选应用程序中成功完成为止。至此,用户请求的一个阶段结束。如果需要跨越多个应用程序,那么在ActAgent 完成当前任务之后,ActAgent 将把任务委托给 AppAgent,以便切换到不同的应用程序,从而启动请求的第二阶段。用户可以选择提出新的请求,促使 UFO 通过重复上述过程来处理新任务。研究团队依据日常鼠标操作,还开发了自定义操作,比如单击、选择文本、滚动等,以此来完成对于控件的操作。主要有这些控制类型。微软全球资深副总裁、MSRA副院长领衔最后介绍一下UFO的研究团队,其中大多数都为华人。通讯作者Chaoyun Zhang,是微软DKI(Data、Knowledge、Intelligence,数据/知识/情报)*小组的高级研究员。他于2020年,在爱丁堡大学获得硕士和博士学位,研究兴趣包括时间序列建模、时空数据挖掘、因果推理以及云服务和 AIOps的可解释机器学习。Chaoyun Zhang还是华中科技大学校友,出国前在华中科技大学电子信息与通信学院取得学士学位。作者Liqun Li,现为微软DKI组首席研究员。他先毕业于清华大学计算机科学与技术系,取得学士学位;而后又在2012年获得中国科学院软件研究所博士学位。期间,Liqun Li曾作为访问学者前往密歇根州立大学。作者Saravan Rajmohan,Miceosoft 365的AI及应用研究的合作伙伴总监。他领导应用研究团队与Microsoft的各个研究小组进行深入协作,将算法研究与AI/ML技术和硬件创新相结合作者张冬梅,MSRA(微软亚洲研究院)常务副院长,微软杰出首席科学家。她从2004年起加入MSRA,从事和领导DKI领域的研究工作,近几年,团队将研究扩大到商业智能领域。作者张祺,微软全球资深副总裁。此前,张祺曾任微软(亚洲)互联网工程院常务副院长,兼任微软移动联新互联网服务有限公司董事长,负责微软互联网业务及人工智能平台在亚洲的团队。同时,他也是微软中国首位“全球杰出工程师”。最后,简单介绍一下多位作者的工作单位:MSRA的DKI组。DKI是Data、Knowledge、Intelligence的简写。该小组致力于AI、数据分析、数据交互、数据可视化的研究,探索全新的数据分析、展示、交互技术,让数据和数据中的发现故事被高效地理解、广泛地传播。团队与微软产品如Excel,PowerPoint等深度合作,常年在各个领域的顶会和期刊上发表论文。 ... PC版: 手机版:

封面图片

《中医如此神奇之拔罐刮痧(高清版)》 | 简介:该高清版内容围绕拔罐刮痧展开,介绍其原理、操作方法及保健功效,通过直观演示,让学

《中医如此神奇之拔罐刮痧(高清版)》 | 简介:该高清版内容围绕拔罐刮痧展开,介绍其原理、操作方法及保健功效,通过直观演示,让学习者了解拔罐刮痧这两种传统中医外治疗法,用于日常养生保健 。| 文件大小 NG | 链接: |标签: #拔罐刮痧 #中医外治 #养生保健

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人