白嫖了unique的提示词工具很多次了，推一条。

白嫖了unique的提示词工具很多次了，推一条。链接https://www.aigenprompt.com/zh-CN鉴于大多数朋友可能不知道怎么用，安利一个我的常用场景。比如你有一个小的创意，可以用它来扩展更多可能性。输入简单的词，这个工具会帮你优化成适合生成带有艺术感画面的一连串prompt。多次调整，你能得到不同的提示词，激发你的灵感。个人感觉，英文比起中文更加稳定。出的词，可以在大部分绘画工具使用。

为了让开发者也能用上 AI 大型语言模型 (LLM) 的能力，微软在 GitHub 上开源了一个轻量级 SDK：semantic

为了让开发者也能用上AI大型语言模型(LLM)的能力，微软在GitHub上开源了一个轻量级SDK：，可以说是部分Copilot的解决方案。该SDK支持和封装了来自最新AI研究的多种设计模式，以便开发人员可以将复杂的技能注入他们的应用程序。SDK提供了提示链、递归推理、总结、零/少样本学习、上下文记忆、长期记忆、嵌入、语义索引、规划和访问外部知识存储以及内部数据等功能。

零一万物发布Yi大模型API开放平台 首批开放3款大模型

零一万物发布Yi大模型API开放平台首批开放3款大模型在全球多项权威评测榜单中，Yi大模型表现优异，性能直追GPT-4。此前，Yi大模型API已经小范围开放内测，全球已有不少开发者申请使用，并普遍反馈效果超出预期。基于此，此次Yi大模型API正式推出3款模型，给开发者更多惊喜。目前，Yi大模型API名额限量开放中，新用户赠送60元。Yi大模型API与OpenAIAPI完全兼容，开发者只需修改少量代码，可以平滑迁移。此次Yi大模型API开放平台提供以下模型：•Yi-34B-Chat-0205：支持通用聊天、问答、对话、写作、翻译等功能。•Yi-34B-Chat-200K：200K上下文，多文档阅读理解、超长知识库构建小能手。•Yi-VL-Plus:多模态模型，支持文本、视觉多模态输入，中文图表体验超过GPT-4V。零一万物API开放平台链接：https://platform.lingyiwanwu.com/零一万物Yi-34B-Chat-200K模型支持处理约30万个中英文字符，适合用于多篇文档内容理解、海量数据分析挖掘和跨领域知识融合等，在“大海捞针”测试中，Yi-34B-Chat-200K的性能提高了10.5%，从89.3%提升到99.8%。例如，金融分析师可以用Yi-34B-Chat-200K模型快速阅读报告并预测市场趋势、律师可以用它精准解读法律条文、科研人员可以用它高效提取论文要点、文学爱好者可以用它快速掌握作品精髓等，应用场景非常广泛。Yi-34B-Chat-200K对经典文学作品《呼啸山庄》进行复杂角色和角色关系的归纳总结零一万物开发的多模态模型Yi-VL-Plus，可支持文本、视觉多模态输入，面向实际应用场景大幅增强，包括：增强Charts,Table,Inforgraphics,Screenshot识别能力，支持复杂图表理解、信息提取、问答以及推理。中文图表体验超过GPT4V；Yi-VL-Plus模型在一些中文图表理解场景，比GPT-4V准确率更高在Yi-VL基础上进一步提高了图片分辨率，模型支持1024*1024分辨率输入，显著提高生产力场景中的文字、数字OCR的准确性；保持了LLM通用语言、知识、推理、指令跟随等能力。同时，零一万物还表示，近期零一万物将为开发者提供更多更强模型和AI开发框架，提供更加丰富和灵活的开发工具，以适应多样化的应用场景。相关文章:李开复旗下创业公司零一万物推出LLM开源模型01.AI估值10亿美元零一万物宣布发布Yi-34B大模型李开复：不负众望李开复旗下AI公司“零一万物”开源Yi大模型被指抄袭LLaMA零一万物回应大模型架构争议：对模型和训练的理解做了大量工作...PC版：https://www.cnbeta.com.tw/articles/soft/1423641.htm手机版：https://m.cnbeta.com.tw/view/1423641.htm

目前工程实践上，大家把优化的重点基本都放在了retrieve环节里，这里面涉及三个重要的问题：

目前工程实践上，大家把优化的重点基本都放在了retrieve环节里，这里面涉及三个重要的问题：1⃣howandwhatdoIretrieve：从传统的相似性检索、文本检索，到目前最常用的依托于embedding的语义检索，大家在实践中仍在不断迭代。Kiela后面也提到有研究希望把整个retriever过程做成一个模型，他也在课程中构想未来应该把retriever的训练也纳入到LLM的训练架构中。文本的embedding可简化理解为文本的向量化表达，并且可根据不同文本的向量化表达，判断出文本之间语义的远近亲疏关系。目前的文本emebedding也都是通过模型来实现的，这类模型也在不断迭代。OpenAI在今年1月份推出了text-embedding-3(small和large两版)，相比其2022年12月推出的ada-002模型，在性能上获得了显著提升。用于多语言检索的常用基准(MIRACL)平均分数已从31.4%(ada-002)增加到44.0%(3-small)和54.9%(3-large)。附图之一是OpenAI对其textemebedding模型作用机制的示意。2⃣Whentoretrieve:一般就两种思路。一种是在获得检索范围后即retrieve，另一种是让模型判断何时retrieve。3⃣Howtoencode:如何编码也直接影响了如何检索的过程。其他问题：1⃣howtopre-process:实际上强调就是input要包含systemprompt，可设定角色、技能、任务、工作流、限制条件等。2⃣howtoprompt:涉及提示词工程的方法论。3⃣howtopasscontext:可以把context作为prompt的一部分以文本形式输入，也可通过代码的方式代入。4⃣howtopost-process:比如格式化输出的处理，如固定输出json格式，或固定在末尾输出reference列表等。5⃣howtoverify:指的是如何验证output的效果或质量，比如验证output与知识库的相关性、准确性等。最后，还有关于RAG整体架构的审视框架：1⃣Howtooptimize:各环节哪些地方可以优化。架构中已经列出的问题都是思考的重点。2⃣Howtolearn:这里的learn应该指的是机器学习的learn，探讨各环节从software1.0的静态架构向机器学习和software2.0的演进。3⃣howtoscale:如何应对规模化的问题。比如关于知识库如何chunk、何时编码，在知识库过大时就不适合提前预处理好chunk和编码。或者大量用户同时prompt该如何应对。前段时间判断过2024年会是RAG应用爆发的一年https://m.okjike.com/originalPosts/6602dca712ed2fda687ec0a3?s=ewoidSI6ICI2M2VlMjQ0NjhhMGY3NzVjODQyMmY1NzEiCn0=，自己在2B业务中也涉及RAG工程的落地，所以花了些精力来学习这节课。以上内容夹杂了不少自己的个人理解，欢迎批评指正，一起交流学习~links:StanfordCS25V42024春季课程(面向公众开放，有人想一起学习搭子么？)https://web.stanford.edu/class/cs25/StanfordCS25V3:RetrievalAugmentedLanguageModelshttps://www.youtube.com/watch?v=mE7IDf2SmJgRAG论文原文https://arxiv.org/abs/2005.11401OpenAItext-embedding-3modelshttps://openai.com/blog/new-embedding-models-and-api-updates?tOpenAItext-embedding-ada-002modelhttps://openai.com/blog/new-and-improved-embedding-model?tSoftware2.0byAndrejKarpathyhttps://karpathy.medium.com/software-2-0-a64152b37c35Kiela在讲这节课几个月后在其创立的ContextualAI正式推出RAG2.0https://contextual.ai/introducing-rag2/

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》，介绍了

Google的教学视频《》，介绍了大型语言模型（LargeLanguageModels，LLMs）的概念、使用场景、提示调整以及Google的GenAI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。

一篇写的非常好的文章，详细介绍了如何对大语言模型的质量进行评估。

一篇写的非常好的文章，详细介绍了如何对大语言模型的质量进行评估。流程包括单元测试、人工评估、模型评估和A/B测试,强调快速迭代和数据管理的重要性。一个好的测试流程是模型进步的必要条件，如果没办法准确测试模型质量，就没办法帮助模型进步。下面是大致的内容整理，后面有全文翻译：大语言模型产品的评估系统评估系统对大语言模型(LLM)产品的成功至关重要。许多LLM产品之所以失败,根本原因在于未能创建健壮的评估系统。评估、调试和改进是LLM产品成功的关键,而良好的评估系统可以创造一个良性循环,加速产品的迭代和改进。案例研究中的Lucy就是一个典型的例子,它初期通过提示工程取得了进展,但后来遇到了性能瓶颈,需要建立系统的评估方法来突破瓶颈。评估的类型LLM产品的评估主要分为三个层次:单元测试、人工评估和模型评估、A/B测试。单元测试是通过编写一些断言语句,在开发过程中快速获得反馈。人工评估和模型评估是通过人工检查和训练评估模型来评估整个系统。A/B测试则用于确保AI产品能够驱动期望的用户行为或结果。除了评估整个系统,还需要对子组件如RAG进行单独评估。单元测试的步骤单元测试是LLM产品评估的基础,通常包括三个步骤:编写特定范围的测试、创建测试用例和定期执行测试并追踪结果。编写测试时要针对LLM的不同功能和场景,检验相应的断言。可以利用LLM自动生成测试用例,触发不同的场景。测试应当定期执行,利用CI基础设施可以很方便地实现自动化测试和结果跟踪。测试通过率并不一定要达到100%,而是要在错误容忍度和产品目标之间取得平衡。人工评估和模型评估人工评估和模型评估是更高层次的测试手段。首先要记录LLM系统的跟踪数据,包括用户的输入和系统的响应,为后续分析提供数据基础。在查看数据时,定制化的查看工具和良好的可视化非常重要。将人工评估结果与评估模型的预测对齐,可以极大提高评估的效率。随着评估模型性能的提升,可以渐进式地用自动评估来替代人工评估。微调和数据合成与管理