ChatGPT plugins 的真正 Magic 是 Code Interpreter

ChatGPT plugins 的真正 Magic 是 Code Interpreter 昨天跟大家说惊掉下巴,指的是现场写代码解决问题,还能输出文件。 除了裁剪视频还能做什么呢? - OCR,导入图片,输出.txt文件 - 根据要求生成.wav 声音 - 创建二维码 - 图像转为ASCII - 生成GIF图片 - 国际象棋模拟器

相关推荐

封面图片

ChatGPT的Code Interpreter插件示例。交互还是用自然语言,实现了真正的动嘴写程序了。

ChatGPT的Code Interpreter插件示例。交互还是用自然语言,实现了真正的动嘴写程序了。 它创造了一个可以运行 Python 解释器的沙盒(包含一些Python的基本库),能处理文件上传和下载,整个虚拟空间在会话期有效。常见的用法是用它来处理数学问题、可视化和文件格式转换。 网上有前期体验用户用它来处理声音、剪辑视频、人脸识别、创建机器学习等高级功能。

封面图片

尝试用ChatGPT和plugins来完成开发一个产品的所有过程。

尝试用ChatGPT和plugins来完成开发一个产品的所有过程。 (只是demo,实际并不是这么用的) 在这里我使用了3个插件: 1. WebPilot:用于上网搜索信息 2. Diagram It:用于画流程图等 3. Kraftful:用于给出设计和开发产品的建议 我做了两个尝试: 1⃣提示工程的方式 写一个相对详细的prompt,指导GPT应该做什么,以及做事情的先后。(图片见评论) 2⃣GPT鼓励师(或pua)的方式 只写目标,没有过多的要求,在过程中鼓励或pua它。(图1-9,以及评论区) 使用1⃣提示工程的方式,在一开始觉得输出的质量不是很满意,于是没有深入尝试,只和它沟通了几回合。 相反,只作为2⃣GPT鼓励师,不给它设限,它的输出效果反而更好了,于是我在这种情况下进行了更多的尝试。 当然,使用1⃣提示工程的方式,它的回答的内容会更接近我prompt中要求的,但是我的prompt写得不是很详细或专业,限制住了它的手脚,就相当于我的prompt给它降智了。 这也是我认为,当你在某方面不如GPT-4的时候(不是指实际不如,而是指你的prompt包含的信息中体现不出来你的专业),你不要写太长的prompt来把它拉到和你一样的水平。 正如乔布斯说的:「不要雇用聪明人,然后告诉他们去做什么;而是要让他们告诉我们,应该做什么」。 我在自己编写代码的过程中,对于那些有最佳实践的技术方案,GPT-4做得比我好多了,我会把GPT-4当成一个聪明的人(当然在没有现成方案的时候,或需要更多定制的时候,GPT-4的表现就会变差了。) 使用2⃣GPT鼓励师的方式,可以看到输出的质量明显变得更加专业了,但是因为少了prompt的约束,它在一开始都只是在纸上谈兵,并没有真正把事情做完(不过纸上谈兵的部分还是指的学习的)。 后面,在我的pua下,它才去真正把事情做了,但由于我没有足够的指令,它做的事情也挺敷衍的。甚至说它不会写代码:「由于我无法直接编写代码,我将提供一些伪代码来描述产品的主要功能」。 虽然在这个方式下,得到的效果也不是很满意,但是我在这里做作为一个只有零星半点知识的小白,这种prompt不需要有什么专业知识,从这个点看GPT-4拥有巨大的潜力,一个小白借助GPT-4是能做很多事情的。

封面图片

浙江大学的几位学生,周末整理了第一批第三方 Plugins 「都有什么,做什么,以及它们的详细用例」共计 2 万 5 千余字,下

浙江大学的几位学生,周末整理了第一批第三方 Plugins 「都有什么,做什么,以及它们的详细用例」共计 2 万 5 千余字,下面是一些结论: - 约八成插件集中于购物、餐饮、旅行、住房和求职这些成熟的商业化场景,其余分布在教育、财经咨讯、内容社区和编程技术场景。 - 专业领域,例如商业分析、游戏、身体/心理健康,以及社交,家庭和育儿场景是蓝海。 - 约七成插件用于已有平台的商业导流,同质化严重,或许意味着 OpenAI 成为新的流量分发平台的雄心。 - 联网、实时信息获取和阅读网页/PDF 功能是刚需。Wolfram(数学计算)、WebPilot(网页阅读)、Speak(专业翻译)、Prompt Perfect(提示词润色)、Diagram It(流程图绘制)、AskYourPDF(PDF阅读)、CreatiCode Scratch(少儿编程)、Chess(国际象棋游戏教练)、edX(公开课学习)、FiscalNote(政策咨询与分析)等插件商业化属性弱,功能强大,值得一试。 更多详细内容,见「赛博禅心」的这篇公众号文章

封面图片

去年四月推出的Shopify Magic系列生成式AI工具,现在增加了一个媒体编辑器,这个编辑器为它的平台带来了生成式图像填充功

去年四月推出的Shopify Magic系列生成式AI工具,现在增加了一个媒体编辑器,这个编辑器为它的平台带来了生成式图像填充功能和由AI驱动的对话式搜索。商家们可以使用这个图像编辑器,即使没有Photoshop经验,也能根据他们想要的主题更改照片背景。 Shopify的人工智能编辑器在今年春天推出后,还能根据商家图库中已有的产品图片,推荐匹配的背景和风格。 Shopify产品副总裁Glen Coates表示,平台上的许多卖家没有大型摄影棚或专业摄影师的资源,但他们仍然需要让自己的商品展现得更吸引人。由于使用这个工具不需要额外成本,它正好满足了这个需求。 标签: #Shopify #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

ChatGPT 的 Prompts 不用多,一个 IIO 模型就行。

ChatGPT 的 Prompts 不用多,一个 IIO 模型就行。 指令(Instruction):希望 AI 执行的指定事项 - 角色:通过限定 AI 的身份和能力范围,让它输出更符合要求的内容,例如扮演老师,教我们学编程; - 模型:让 AI 基于成熟的思维框架进行思考,例如 STAR 法则、二八定律等; - 任务:该指令必不可少,指定了 AI 要做的具体事情,例如查询天气、回答问题等。 输入(Input Data):一些可供 AI 参考的素材或数据 - 背景:提供对话的补充信息,能够让 AI 更好地理解上下文; - 受众:假设 AI 生成的内容,会由怎样的人群阅读,例如儿童、牙医等; - 素材:提供一些需要 AI 加工相关文本、图片或其他资料,以扩展模型的知识和信息; - 示例:通过提供一些例子,让 AI 参考并生成符合预期的内容 输出(Output Indicator):限定输出内容的类型、格式等 - 模板:模板定义了 AI 对话的基本结构、内容格式; - 风格:规定 AI 的风格或语气,例如幽默、可爱,或者模仿名人讲话; - 要求:明确 AI 应满足的具体要求或标准,例如准确性、可读性; - 限制:设定模型的限定条件,例如生成数量、最大长度、敏感内容过滤等。 通过 IIO 模型的 11 个 Prompts 基础元素的排列组合,你完全能写出复杂的 ChatGPT 指令,满足日常 AI 办公场景。 #AI工作流 #AI的神奇用法

封面图片

其实关于 ChatGPT plugins 的大部分 myth,读 OpenAI 这个简短的开发文档都可以得到解答 [1]。

其实关于 ChatGPT plugins 的大部分 myth,读 OpenAI 这个简短的开发文档都可以得到解答 [1]。 比如说,这是不是意味着 ChatGPT 变成了一个操作系统?从操作系统的经典定义 [2] 来说,肯定不是。ChatGPT plugins 做的事情,是在「适当时候」让 ChatGPT 可以和外界打交道。现在的 ChatGPT 是一个受过良好本科教育的知识工作者,不幸在 2021 年 9 月就被你抓到了一个白房子里面关着,就跟美国那个 Jony Ive 一样。你问它的很多问题它凭借自己的积累是可以解答的,只是不知有汉,无论魏晋。 现在,你和它说,我问你某些问题的「适当时候」我允许你出去走走,看看外面的世界是不是有更好的答案、更好的办法。比如,机票价格怎么样了?Tik Tok 的听证会怎么样了?你不是理科不好吗,让人帮忙解个方程怎么样?有些事情,干脆你也帮我办了吧。比如,既然问了机票价格,就顺便订个机票吧![3] 它说好啊,但我怎么知道应该去哪儿解决你的问题呢?其实世界上这些工作都已经有不同的仆人做得很好了,让这些仆人先来我们这儿登记一下。这样我们就知道,机票可以去找这个叫 KAYAK 的,新闻可以去问 Bing,解方程可以找 Wolfram Alpha。它在「适当时候」照着登记册出去问了问题,然后回来用它的语言告诉我答案。 这里还有一个厉害的地方是,在这个世界中这些仆人是不说人话的。它们用一种叫 API 的机读语言和其他人进行交互。过去,我们日常用的手机 app 可以代替我们将界面上的操作转化成这种特殊的语言,但我们这位被关了两年的朋友,却能自动把我们说的人话自动翻译成这种语言。 这不是操作系统,而是一种对世界上已有服务的 API 通过自然语言进行索引和整合的方式,也给所有已有服务提供了自然语言界面。通过它你可以利用已有的服务获取数据,也进行少量的行动(这一点实际上是出于安全的限制)。 当然,你可以说着这有点儿像一个操作系统,毕竟用户可以交付任务给它……那么它也有点像一个浏览器,有点像一个应用商店,有点像手机桌面,有点像搜索引擎,虽然我觉得它最像的还是……3721 中文网址导航。 用比喻来讨论问题总是不精准的,取决于你关心什么方面,希望获得什么样的隐含暗示。就好像说现在到底是 AI 的 BlackBerry 时刻还是 iPhone 时刻还是 iPhone 3GS 时刻还是 iPhone 4 时刻……Depends。 至于说这个 plugins 系统可以自己给自己写 plugin……至少在目前是不准确的。OpenAI 联合创始人 Greg 在 Twitter 上说的不错,一个 plugin 的开发很简单,你就是为一个自然语言模型来写 API 文档。但这个前提是你得先有 API。如果你已经做出一个 Wolfram Alpha 了,要接入的确是很简单的。就好像给 Chrome 写一个 web app 其实也很简单,因为本质上那只是一个已有网站的书签。 当然了,既然 GPT 已经可以帮忙写代码了,所以你用 GPT 从 0 开始写出一个 plugin 理论上是可能的,但这不是 plugins 系统的开箱体验。Greg 说的「为自然语言模型写 API」,并不是大家所理解的「用自然语言模型来写 API」。目前 plugin 的接口仍然需要写成机读语言尽管理论上,如果你写出足够详细的 prompt,也可以让 GPT 来生成。 这中间的区别也许没有那么重要,也许就是差一层窗户纸。但总之,描述的还不是已经实现的体验。 ChatGPT 的 plugin 系统的设计和之前类似系统比,真的新颖之处在哪里呢?前面说到「适当时候」,在接口中,你可以用自然语言告知 ChatGPT 你这个 API 能干啥,ChatGPT 用自然语言理解了这一点后,就可以自动根据用户的输入来判断什么时候应该找谁来满足用户的需求。你只需要告诉它一次「买机票去 KAYAK」,它就知道下次你问它 UA888 的时候可以去找 KAYAK。 这是不是就是我们中国人熟悉的……流量分发?大家都很熟悉,在 PC 时代我们抢注文件扩展名、Android 上我们抢注 Intent、iOS 上抢注 schema、搜索引擎上做竞价排名……干的是同一件事情。ChatGPT 想用自然语言来解决流量分发的问题。所以,套用一句话,这是流量分发机制的自然语言界面。 这么一想,什么 SEO、growth hacking……说不定还有用武之地。振作吧! (给不熟的人:这是开玩笑... 我不喜欢这些事情) 其实这也不是 ChatGPT 首创。Google Assistant 接入第三方服务的方式也是类似的,只是开发者体验要复杂一些。说时迟那时快,写这段的时候去查了 Google 的文档,发现这个服务即将在 6 月 13 日被 Google 亲手干掉。[4] 这也不是否定 plugins 的创新。事实上,大部分革命性的创新也就是在前人的基础上稍作改动而已。OpenAI 的研究和工程能力当然是让人惊叹的,但我越来越觉得他们的产品和市场能力也是让人惊叹的。 MIT Tech Review 关于 ChatGPT 开发过程的访谈非常值得一读 [5],ChatGPT 本身也许可以称之为有史以来最成功的 hackathon 项目(虽然远比一般的 hackathon 要昂贵,但相比于 GPT 本身的投入相信只是个零头)。ChatGPT 把 GPT 重新包装成了人人都能看懂的能力,也许是其意外成功让 OpenAI 不甘于只做基础设施了,他们现在看起来决心直接面向消费者,不给中间商赚差价的机会了。也许,OpenAI 就是第四次工业革命的 Google 或 Apple 了。 Plugins 这个系统相信是在很短时间内拼凑出来的,却足够优雅、有想象力。Go-to market 的能力、连接用户需求和技术的能力、商业化的能力、设计生态系统的能力... 不就是古典产品经理的核心能力么?怪不得老王也要招产品经理 [6]。可惜,想来想去好像不认识什么活人有这个能力。 你看,为了拖延写稿我宁愿写这么大一段 [7]。没有仔细校对,有错漏请指正。 [1]: [2]: [3]: [4]: [5]: [6]: [7]:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人