一个评估 prompt 清晰有效性的 prompt.
一个评估 prompt 清晰有效性的 prompt. 我们知道,写 prompt 的核心原则就是清晰明确地描述需要 AI 去完成的任务。具体的技巧都是围绕这个核心原则。 当我们要写一个 prompt 完成相对复杂一些的任务的时候,我们可能会竭尽所能地增加各种约束、规则、步骤、样例描述等等。但这里有一个问题,我们很难知道到底哪些限定词是真正影响输出结果的?它们到底有多大的影响? 另外,一个相对复杂的 prompt 发送给 AI 的时候,它是否能够完全理解? 所以,我想是不是可以通过一个 prompt 来让 AI 自己去理解 prompt 并让其对具体的 prompt 的清晰有效性进行评估。 目前,我的想法是让其通过阅读理解、分析逻辑、回忆上下文三个方面来对具体的 prompt 进行评估。 附图是我让它评估我写的雅思口语评估助手。 基于 GPT 3.5-turbo 模型测试下来,英文输出的评估结果更加详细和具体。所以我在 prompt 里设置了默认输出是英文。如果不想读英文,可以在评估结果出来之后,发送 “将上面的回复完整地翻译为地道的中文,不要遗漏任何信息。” 效果见图二。 从评估结果可以看到当前模型是如何理解我们的 prompt 的。 更进一步,在评估结果出来之后,我们让 AI 自己尝试优化我们的 prompt,发送 “基于以上评估和用户的,请修改出一个你认为更高效、更精简的版本。确保你的修改不遗漏原的任务目标。” 即可。效果见图三。 让 AI 修改 prompt 不是说直接用它修改的版本,而是参考它修改的点。如图三,它精简了我的 prompt 中的关于雅思口语考试详细的评估标准和高分答案标准。 我参考它的优化建议修改了我原来的 prompt,测试下来,输出结果和原来差不多。相当于在 prompt 里去掉了一些冗余信息,也省了点 tokens. Prompt 评估助手: (原版)雅思口语答案评估助手: (基于 Prompt 评估助手优化版)雅思口语答案评估助手:
在Telegram中查看相关推荐

🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人