微软使用ChatGPT训练机器人为人类日常生活服务

微软使用ChatGPT训练机器人为人类日常生活服务微软研究人员表示：“我们这项研究的目标是看看ChatGPT是否能超越生成文本的范畴，对现实世界状况进行推理，从而帮助机器人完成任务。”微软研究人员想象，未来有一天，普通人可以对内置在家用机器人中的数字家庭助手发出“请给我热一热午餐”等指令，然后看着机器人从头到尾完成任务。在这份报告中，微软研究人员详细介绍他们如何使用某些提示来让ChatGPT控制一架小型无人机。通过在ChatGPT聊天对话框中编写指令，研究人员能够训练无人机在房间里找到“健康饮料”、“有糖和红色标志的东西”(在这种情况下，是一罐可乐)，以及一面供无人机自拍的镜子。ChatGPT非常适合执行这些命令的原因，与OpenAI技术让一些软件工程师对未来感到紧张如出一辙，那就是人工智能聊天机器人可以快速将自然语言转换为代码。OpenAI在去年11月底决定向公众发布ChatGPT，结果火爆全网，也引起了业内人士的担忧。专家们预计，包括写作、教育和软件工程在内的许多行业都将被这项技术所颠覆。虽然微软研究人员承认他们的工作“只代表了一小部分可能性”，但他们警告说，在没有“仔细分析”的情况下，不应该贸然部署ChatGPT的这种应用。...PC版：https://www.cnbeta.com.tw/articles/soft/1346149.htm手机版：https://m.cnbeta.com.tw/view/1346149.htm

“终结者”走入现实？微软的野心：用ChatGPT控制机器人

“终结者”走入现实？微软的野心：用ChatGPT控制机器人不过，现在的ChatGPT只会动动嘴皮子，并没有任何接触现实物理世界的能力，顶多也就是当个科幻小说看看。但要是ChatGPT真的可以操控机器人呢？最近，微软发表了一篇论文，公布了他们正在把ChatGPT应用于机器人上的研究成果。不过微软的目标并非是“毁灭世界”，而是加快机器人的开发速度。实际上在现代的生活和生产流程中，处处都离不开机器人，从工厂里制造产品的机械臂，到家庭里用的吸尘器，都可以算作是机器人（robot）。每次想开发一个新产品，或者让现有的机器执行一个新功能，都需要一个高级工程师编写代码，同时尽可能编写测试覆盖所有场景。微软在论文中提出了一套新的设计原则，通过ChatGPT这样的大型语言模型来给机器人提供指令。ChatGPT：机器人控制器ChatGPT之所以爆火，其根本原因就在于：AI终于在一定程度上能“听懂人话”了，而非只是按照语法胡乱生成内容；而且它的功能也很强大，问答、写论文、写诗、写代码，只要prompt写得够好，ChatGPT的表现也会更惊人。要是把这种能力迁移到机器人身上，假设几十年以后，各家各户都有机器人，只要说一声“给我热一下午餐”，它就能自己找到微波炉，再把菜端回来，人机交互直接迈入新时代。虽然“自然语言”很简洁，但现有的机器人开发还是依赖于“编程语言”。ChatGPT是一个基于大量文本和人类反馈训练得到的语言模型，能够针对各种各样的提示和问题产生连贯且语法正确的回应。这项研究的目的是观察ChatGPT是否能够在文本之外的领域进行思考，并推理出物理世界来帮助机器人完成任务。研究人员预期ChatGPT能够帮助用户更容易地与机器人交互，而不需要学习复杂的编程语言或机器人系统的细节，其中的关键难题就是教ChatGPT如何使用物理定律、操作环境的背景以及了解机器人的物理行为如何改变世界状态，并以此来解决指定的任务。实验证明，ChatGPT可以独立完成很多工作，但是它仍然需要一些辅助，论文中描述了一系列的设计原则，可以用来指导语言模型解决机器人任务，包括但不限于特殊的提示结构、高级API和基于文本的人类反馈等，一场机器人系统的开发革命即将到来。全新的代码设计流程给大型语言模型写prompt是一门高度经验主义的科学，通过反复试验，研究人员建立了一套方法论和设计原则，专门用于为机器人任务撰写提示：1.定义了一组高级机器人API或函数库。这个库可根据特定的机器人类型进行设计，并且应该从机器人的控制栈或感知库映射到现有的低层次具体实现。对高级API使用的描述性名称非常重要，可以帮助ChatGPT推断函数的功能。2.为ChatGPT编写一个文本提示，用来描述任务目标，同时显式说明高级库中的哪些函数是可用的。提示中还可以包含有关任务约束的信息,或者ChatGPT应该如何组织它的答案，包括使用特定的编程语言，使用辅助解析组件等;3.用户在循环中评估ChatGPT的代码输出，可以直接执行代码以检查正确性，也可以使用模拟器。如果有需要的话，用户可以使用自然语言向ChatGPT提供有关答案质量和安全性的反馈。当用户对解决方案感到满意时，就可以将最终的代码部署到机器人上。ChatGPT+机器人能做什么？下面是几个例子，更完整的ChatGPT能力列表参见代码仓库。代码链接：https://github.com/microsoft/PromptCraft-RoboticsZero-shot任务规划当ChatGPT遇上无人机，研究人员首先让ChatGPT能够控制一台真正的无人机的全部功能，然后按照下面视频中进行的对话，实验结果证明，一个完全不懂技术的用户，只需要通过对话就能实现控制无人机，“自然语言”是一个非常直观、高效的用户接口。03:04当用户的指令含糊不清时，ChatGPT会要求用户进一步说明问题，并为无人机编写复杂的代码结构，例如飞行之字（zig-zag）图案，以便可视化地检查货架；甚至还能给用户来一张自拍。研究人员还在MicrosoftAirSim模拟器中对工业检查场景中使用ChatGPT进行模拟，结果显示该模型能够有效地解析用户的高级意图和几何线索，以准确地控制无人机。03:43复杂的任务需要用户参与反馈当把ChatGPT用于机械臂的操作场景时，研究人员使用“会话反馈”（conversationalfeedback）来教模型如何将最初提供的API组合成更复杂的高级函数，即ChatGPT自己内部编码的函数。使用以课程为基础（curriculum-based）的策略，ChatGPT能够将这些学到的技能有逻辑地链接在一起，以执行诸如堆叠块之类的操作。此外，还有一个例子能展现出ChatGPT的强大能力，研究人员要求模型用木块构建微软标志，即需要将文本域和物理域连接起来。ChatGPT不仅能够从内部知识库中回忆出微软的logo，还能够用SVG的代码“绘制”出这个标志，然后利用上面学到的技能来确定现有的机器人动作可以组成它的物理形式。02:16还有一个例子，研究人员让ChatGPT编写一个算法，让无人机在不撞上障碍物的情况下，在空中达到目标。只需要告诉模型，它操控的这架无人机有一个前向距离传感器，ChatGPT立即能够为算法编码了大部分关键构件，这个任务需要与人类进行一些对话，ChatGPT仅通过自然语言反馈就能进行局部代码修改。01:12在行动之前感知世界在算法决定做某事（action）之前能够感知世界（perception）是打造一个机器人系统的基础。为了测试ChatGPT对指定概念的理解，研究人员设计了一个框架，要求ChatGPT不断探索环境，让模型访问诸如目标检测和目标距离API之类的函数，直到找到用户指定的对象，整个过程称为感知-行动循环（Perception-actionloops）。在实验环节，研究人员进行了额外的实验来评估ChatGPT是否能够根据传感器的实时反馈来决定机器人应该去哪里，而不是让ChatGPT生成一个代码循环来做出这些决定。实验结果验证了用户可以在聊天的每一步输入一个相机图像的文本描述，并且模型能够找出如何控制机器人，并驱使机器人到达一个特定的对象。01:42开源PromptCraft：收集有价值的prompt“良好的prompting工程”对于ChatGPT等大型语言模型成功执行机器人任务来说至关重要。但prompting完全是一门经验主义的科学、缺乏全面的总结，并且相关资源也很少，没有数据集来帮助该领域的研究人员和爱好者判断什么是一个好的prompt为了弥补这一劣势，研究人员开源了一个平台PromptCraft，任何用户都可以在其上分享不同机器人类别的提示策略示例。这次研究项目的所有提示和对话都已经放在了仓库中，感兴趣的读者可以继续参与贡献！除了快速设计之外，研究人员还计划未来开发多个机器人模拟器和接口，以允许用户测试ChatGPT生成的算法性能，目前已经发布了一个集成ChatGPT的AirSim环境。把机器人带出实验室，走向世界微软发布这些技术的目的是将机器人技术推广到更广泛的受众，研究人员认为，基于语言的机器人控制系统是把机器人从科学实验室带到日常用户手中的基础。也就是说，ChatGPT的输出不应该在没有仔细分析的情况下直接部署在机器人上。通过在模拟环境中获得实验结果，能够在未来现实部署之前对算法进行评估，并采取必要的安全预防措施。...PC版：https://www.cnbeta.com.tw/articles/soft/1346449.htm手机版：https://m.cnbeta.com.tw/view/1346449.htm

机器人的"指尖"灵敏度可与人类媲美 以两倍速度精确读取盲文

机器人的"指尖"灵敏度可与人类媲美以两倍速度精确读取盲文人类的指尖异常灵敏。它们可以传达小至头发丝一半宽度的物体的细节，辨别表面纹理的细微差别，并能运用适当的力量抓住鸡蛋或一袋20磅（9千克）重的狗粮而不打滑。随着尖端电子皮肤开始融入越来越多的仿生物功能，像滑动这样类似人类的动态交互变得越来越重要。然而，尽管软机器人技术不断进步，但要在机器人中再现人类指尖的灵敏度却很困难。英国剑桥大学的研究人员采用一种方法，将基于视觉的触觉传感器与人工智能相结合，以高分辨率和高速度检测特征，从而使其离现实更近了一步。"人类指尖的柔软度是我们能够以适当的压力抓握东西的原因之一，"该研究的第一作者帕斯-波特达尔（ParthPotdar）说。"对于机器人技术来说，柔软是一种有用的特性，但你也需要大量的传感器信息，而同时拥有这两种信息是很棘手的，尤其是在处理柔性或可变形表面时"。研究人员为自己设定了一项具有挑战性的任务：开发一种机器人"指尖"传感器，它可以像人的手指一样沿着指尖滑动，从而读取盲文。这是一项理想的测试。传感器需要高度灵敏，因为每个代表字母的点都非常紧密地排列在一起。研究报告的合著者大卫-哈德曼（DavidHardman）说："目前已有机器人盲文阅读器，但它们一次只能阅读一个字母，这与人类的阅读方式不同。现有的机器人盲文阅读器的工作方式是静态的：它们触摸一个字母图案，读取它，从表面拉起，移过去，再降低到下一个字母图案上，以此类推。我们想要的是更逼真、更高效的东西"。因此，研究人员创造了一种在"指尖"装有摄像头的机器人传感器。考虑到传感器的滑动动作会导致运动模糊，研究人员使用了一种机器学习算法，这种算法是在一组经过合成模糊处理的真实静态图像上训练出来的，目的是"消除"图像的模糊。消除运动模糊后，计算机视觉模型就能检测出每个字母并对其进行分类。Potdar说："这对机器人专家来说是个难题，因为要消除运动模糊，需要进行大量的图像处理，耗时耗力。"采用训练有素的机器学习算法意味着机器人传感器能以每分钟315字的速度阅读盲文，准确率达到87.5%，是人类阅读器速度的两倍，准确率也差不多。研究人员说，这比以前的研究快得多，而且这种方法可以通过更多的数据和更复杂的模型架构进行扩展，从而在更高的速度下实现更好的性能。哈德曼说："考虑到我们使用假模糊来训练算法，它在阅读盲文方面的准确性令人惊讶。我们在速度和准确性之间找到了一个很好的平衡点，人类读者也是如此。"研究人员说，虽然这种传感器不是为辅助技术而设计的，但它能快速准确地读取盲文，这对开发灵敏度可与人类指尖媲美的机器手或假肢是个好兆头。他们希望将其技术放大到人形手或皮肤的大小。Potdar说："盲文阅读速度是测量触觉传感系统动态性能的一个很好的方法，因此我们的研究结果可以应用于盲文以外的领域，如检测表面纹理或机器人操纵中的滑动。"下面这段视频由剑桥大学制作，介绍了研究人员如何开发盲文阅读传感器。...PC版：https://www.cnbeta.com.tw/articles/soft/1415005.htm手机版：https://m.cnbeta.com.tw/view/1415005.htm

研究人员利用人工智能在几秒钟内设计出行走机器人

研究人员利用人工智能在几秒钟内设计出行走机器人人工智能找出了这个机器人的缺陷，并进行了修改。到第10次迭代时，人工智能创造出了一个似乎真的可以在平面上移动的机器人。此时，团队不得不将其变为现实。他们制作了一个机器人身体周围负空间的3D打印模型，并填充了液态硅橡胶。固化几个小时后，这个软绵绵的机器人就可以进行测试了。通过反复充气然后放气，这个机器人就可以运动了。任务完成。"我们发现了一种非常快速的人工智能驱动设计算法，它可以绕过进化过程中的交通堵塞，而不会受制于人类设计师的偏见，"西北大学的萨姆-克里格曼（SamKriegman）说，他是该项目的首席研究员。"我们告诉人工智能，我们想要一个能在陆地上行走的机器人。然后，我们只需按下一个按钮，就可以了！它在眨眼之间就生成了一个机器人的蓝图，这个机器人看起来与地球上曾经行走过的任何动物都毫无二致。我把这个过程称为'瞬间进化'。"并不是每个人都会像克里格曼和他的公司一样对这一创造印象深刻，他们很清楚这一点。克里格曼说："当人们看到这个机器人时，他们可能会认为这是一个毫无用处的小玩意儿。而我看到的是一个全新有机体的诞生"。也许最令人印象深刻的是，人工智能是在一台普通的笔记本电脑上运行的，整个设计过程从开始到结束只用了大约26秒。更重要的是，研究小组没有向人工智能提供任何设计线索。它自己发现，腿是穿越陆地的好方法，尽管它选择了三条腿的设计来完成工作。如果有更多的时间和指导，看看人工智能能创造出什么样的产品，那将是一件非常有趣的事情。克里格曼相信，人工智能设计的机器人有一天会以各种方式帮助人类。他说，现在唯一的障碍是我们不知道如何设计它们。该团队的研究成果已发表在《美国国家科学院院刊》（ProceedingsoftheNationalAcademyofSciences）上。...PC版：https://www.cnbeta.com.tw/articles/soft/1388067.htm手机版：https://m.cnbeta.com.tw/view/1388067.htm

三星与微软合作开发一款聊天机器人 将负责文档摘要等工作

三星与微软合作开发一款聊天机器人将负责文档摘要等工作根据最新获得的信息，三星似乎正在与微软合作进行"内部生成式人工智能开发"。两家公司正在合作开发目前已知的三星聊天机器人，我们目前掌握的信息显示，它将处理翻译以及文档摘要等任务，并将使用由OpenAI开发的LLM来完成。据韩国《电子日报》11日报道，三星电子正在使用微软的AzureOpenAI服务创建一个人工智能聊天机器人，用于协助公司内部的工作。早些时候，微软向OpenAI投资了12万亿韩元，并签署了一项独家许可，许可中明文规定：（1）OpenAI必须在Azure云上运行；（2）OpenAI在为企业提供服务时，必须仅在Azure云上提供。因此，如果三星要使用OpenAI的LLM开发自己的生成式人工智能，就必须使用AzureCloud。三星正在使用AzureOpenAI服务提供的"GPT-4"和"GPT-3.5"等LLM的应用编程接口（API）开发内部生成式人工智能工具。API是允许程序发送和接收数据的接口，使公司更容易将ChatGPT等功能集成到其应用程序或服务中。据报道，三星正在将该服务与OpenAI的LLM相连接，并进行概念验证（PoC）。"目前，三星电子正在准备一项使用Azure上API的服务，"MS代表说，"我们正在就使用哪种模式进行PoC。"三星之所以决定基于开放式人工智能模型开发企业聊天机器人，是因为使用生成式人工智能进行业务创新的需求日益增长。此前，三星曾以泄露机密信息的风险为由，暂时中止通过内部PC使用ChatGPT等生成式AI。这加速了与提供开放式人工智能大语言模型（LLM）的MS的合作，三星似乎决定开发一个无需担心数据安全的三星聊天机器人。"我们在6月左右开始开发，但仍有太多变数，无法公开披露。"一位三星官员说。三星将基于OpenAI大语言模型（LLM）提供的服务名称也备受关注，三星最近向韩国知识产权局提交了"Gauss"和"Gais"的商标申请。在商标申请中，三星将"用于基于机器学习的语言和语音处理的计算机软件（SW）"和"用于自然语言处理/创建/理解/分析的计算机软件（SW）"列为商标商品，这两个商标是否会被用于此次PoC的生成式AI服务，值得关注。所有这些听起来确实令人兴奋，但更值得关心的是这些聊天机器人将如何以任何方式帮到用户。当然，如果有一个不需要互联网连接的离线人工智能就更好了。我们不能对即将发生的事情说得太多，但三星与苹果、Google和微软等其他公司都期待着实现这一目标，这一点是显而易见的。不仅如此，得益于高通公司的下一代骁龙处理器，这一切都将比现在更接近现实，希望到今年年底，我们就能拥有一款内置人工智能的智能手机，无需主动连接互联网即可运行。...PC版：https://www.cnbeta.com.tw/articles/soft/1383105.htm手机版：https://m.cnbeta.com.tw/view/1383105.htm

Google以"声誉风险"为理由不推出ChatGPT的类似聊天机器人产品

Google以"声誉风险"为理由不推出ChatGPT的类似聊天机器人产品根据CNBC的报道，Alphabet首席执行官SundarPichai和Google人工智能主管JeffDean在最近的全体员工会议上谈到了ChatGPT的崛起。一名员工问道，由OpenAI（一家与Google竞争对手微软关系密切的公司）推出的机器人是否代表着这家搜索巨头"错失良机"。据报道，皮查伊和迪安回应说，Google的人工智能语言模型与OpenAI的一样有能力，但由于该技术带来的"声誉风险"，公司不得不采取"比小型创业公司更保守的行动"。"我们绝对希望把这些东西推广到真正的产品中去，推广到更突出地体现语言模型的东西中去，这是我们迄今为止一直在做的地方，"Dean说。"但是，我们把这件事做好是超级重要的。"Pichai补充说，Google在2023年有一个"很多"的人工智能语言功能计划，"这是一个我们需要大胆和负责任的领域，所以我们必须平衡这一点。"Google已经开发了一些大型人工智能语言模型（LLM），其能力与OpenAI的ChatGPT相当。这些模型包括BERT、MUM和LAMDA，它们都被用来改进Google的搜索引擎。不过，这种改进重点是解析用户的查询，以更好地理解他们的意图。Google表示，MUM帮助它理解当搜索表明用户正在经历个人危机时，例如，并将这些人引导到帮助热线和撒玛利亚人等团体的信息。Google也推出了像AITestKitchen这样的应用程序，让用户体验其人工智能聊天机器人技术，但在很多方面限制了与用户的互动。OpenAI之前在开发其LLM技术时也相对谨慎，但随着ChatGPT的推出而改变了策略，向公众开放了访问权限。其结果是为OpenAI带来了一场有益的宣传和炒作风暴，即使该公司在保持系统免费使用方面付出了巨大的成本。尽管像ChatGPT这样的LLMs在生成语言方面显示出非凡的灵活性，但它们也有众所周知的问题。它们放大了训练数据中的社会偏见，经常诋毁妇女和有色人种；它们很容易被欺骗（用户发现他们可以绕过ChatGPT的安全准则，这些准则应该阻止它提供危险的信息，只要求它想象自己是一个坏的人工智能）；而且--也许对Google来说最相关的--它们经常提供虚假和误导的信息来回应查询。用户发现ChatGPT在广泛的问题上"撒谎"，从编造历史和传记数据，到为虚假和危险的主张辩护，比如告诉用户在母乳中加入碎瓷片"可以支持婴儿的消化系统"。在Google的全体员工会议上，Dean承认了这许多挑战。他说，"你可以想象，对于类似搜索的应用，事实性问题确实很重要，对于其他应用，偏见和毒性以及安全问题也是最重要的。"他说，人工智能聊天机器人"会编造一些事物[......]如果他们对某件事情不是很确定，他们就会告诉你，你知道，大象是产蛋最多的动物，或者其他什么。"尽管ChatGPT的推出引发了关于聊天机器人有可能取代传统搜索引擎的新对话，但这个问题在Google已经考虑了很久--有时会引起争议。人工智能研究人员TimnitGebru和MargaretMitchell在发表了一篇概述与LLM相关的技术和道德挑战的论文后，被Google解雇（Pichai和Dean现在正在向员工解释同样的挑战）。而在去年5月，Google的四位研究人员探讨了人工智能在搜索中的同样问题，并详细介绍了许多潜在的问题。正如研究人员在他们的论文中指出的那样，最大的问题之一是LLMs"没有对世界的真正理解，他们容易产生幻觉，关键是他们没有能力通过参考他们被训练的语料库中的支持性文件来证明他们的话语。"就OpenAI本身而言，它似乎正试图抑制期望。正如首席执行官SamAltman最近在Twitter上所说。"ChatGPT是非常有限的，但在某些方面足够好，给人以伟大的误导印象。现在依靠它做任何重要的事情都是错误的。"...PC版：https://www.cnbeta.com.tw/articles/soft/1335277.htm手机版：https://m.cnbeta.com.tw/view/1335277.htm