Self-Refine:通过针对性地反馈 (Feedback) 调整循环来引导 AI 输出更好的答案。
Self-Refine:通过针对性地反馈(Feedback)调整循环来引导AI输出更好的答案。上周吴恩达教授在TheBatch中聊到了智能体(AIAgent)工作流设计模式中的反思模式(https://m.okjike.com/originalPosts/6607dc65a922aa28d05cbbc7?s=ewoidSI6ICI2NGI3NDBlNWI4Yzc1YTFiYjhkNDA0YjciCn0=),并推荐了三篇论文:-Self-Refine(https://arxiv.org/abs/2303.17651)-Reflexion(https://arxiv.org/abs/2303.11366)-CRITIC(https://arxiv.org/abs/2305.11738)读下来对我启发最大的是Self-Refine,也是我认为能够在日常与AI对话中可以直接用得上的。如果你的工作会涉及到智能体(AIAgent)的工作流,Reflexion和CRITIC可以参考一下,对于日常使用AI来说,不读问题也不大。模式都比较好理解,难的是工程上如何针对性地应用。其中,Reflexion的模式是有三个主要的角色加一个记忆模块(Memory)来实现:1.执行者(Actor):就像一个尝试解决问题的人,它会根据当前的情况提出行动计划,并执行这些计划;2.评估者(Evaluator):类似于一个老师或评委,它会评估执行者的行动计划是否有效,并给出成绩或反馈;3.反思者(Self-reflection):当执行者的计划不够好时,反思者会帮助它理解哪里出了问题,并提出如何改进的建议。就像人类在犯错后会思考如何改进一样,这个过程中,Actor会尝试不同的行动,并从结果中学习。每当Actor完成一个步骤时,Evaluator会评估Actor的表现,并记录下哪些做得好,哪些需要改进。这些记录被保存起来放到Memory模块中,以便在未来的尝试中让Actor参考,并在未来做出更好的决策。通过这样的尝试、评估和反思循环来更好地完成指定的任务。整个过程参考图一。CRITIC则更好理解,就是借助外部工具来给AI提供更精确的反馈,然后让AI根据这些反馈来优化输出。过程大致如下: