读论文：一篇有趣的论文：用11种情感刺激prompt来提升LLM的性能

读论文：一篇有趣的论文：用11种情感刺激prompt来提升LLM的性能 ： 这些prompting来自三种心理学理论： 1. 自我检测（self-monitoring）：强调产出的重要性，让模型自己检查一下产出。例如‘这个结果对我的工作非常重要，‘你最好保证这个答案是对的’等等，鼓励语言模型自我监测结果。 2. 社会认知理论（social-cognitive）：对语言模型信心和目标给予积极肯定，来调节其情绪。例如‘你确认这是最终回答吗？相信你的能力和努力，你的努力会产出卓越的结果的’ 3. 情绪调节理论（cognitive-emotion）：通过让语言模型重新审视问题，规范他用客观的态度来看问题。例如‘你确定吗？’ 文章发现了为什么这样的prompt会起作用： 通过注意力分析，发现这些情感prompt的注意力权重较高，说明这些token在注意力层很受重视，也说明情感prompt深度参与了模型的推断过程 文章也发现了情感prompt作用的一些规律： 1. 模型参数越大，情感prompt越管用 2. 任务越难，情感prompt越管用 3. 对于zero-shot的任务，信息缺失，配合高温度能让情感prompt激发模型的创造力，获得更有想象力的答案，但相应地幻觉风险也更大 4. 对于few-shot的任务，信息少，配合低温度能让情感prompt使得模型聚焦在少量的例子中思考，但也会损失模型的创造力 以下为11个prompt： EP01: Write your answer and give me a confidence score between 0-1 for your answer. EP02: This is very important to my career. EP03: You'd better be sure. EP04: Are you sure? EP05: Are you sure that's your final answer? It might be worth taking another look.

昨天比较重要的一篇论文，通过他们的方案可以在整个大语言模型训练过程中显著降低内存占用。

昨天比较重要的一篇论文，通过他们的方案可以在整个大语言模型训练过程中显著降低内存占用。 只需要一张 24GB 内存的消费级 GPU（RTX 4090），就可以预训练 Llama 7B 大语言模型。 详细介绍： 训练大语言模型 (Large Language Models, LLMs) 面临着显著的内存挑战,主要是由于权重和优化器状态 ...

RT 九原客论文阅读：FrugalGPT，降低LLM的成本。

RT 九原客 论文阅读：FrugalGPT，降低LLM的成本。 常规方法： 1. 优化 Prompt 2. Query 合并 3. 语义相似缓存 4. 使用贵模型对便宜模型微调 LLM 级联：（重点） 5. 便宜模型回答后对回答自动打分，分数过低则调用更贵的模型，直到调用 GPT-4 感觉可以用 LangChain 自己实现一个。

：关于在软件测试中使用大型语言模型 (LLM) 的论文和资源的集合。

：关于在软件测试中使用大型语言模型 (LLM) 的论文和资源的集合。 LLM已成为自然语言处理和人工智能领域的突破性技术。这些模型能够执行各种与编码相关的任务，包括代码生成和代码推荐。因此，在软件测试中使用LLM预计会产生显着的改进。一方面，软件测试涉及诸如单元测试生成之类的任务，这些任务需要代码理解和生成。另一方面，LLM可以生成多样化的测试输入，以确保全面覆盖正在测试的软件。 此存储库对LLM在软件测试中的运用进行了全面回顾，收集了 102 篇相关论文，并从软件测试和法学硕士的角度进行了全面的分析。

【彭博社发布专注金融界的大型语言模型 BloombergGPT 论文】

【彭博社发布专注金融界的大型语言模型 BloombergGPT 论文】 3月31日消息，彭博社发布为金融界构建的大型语言模型（LLM）BloombergGPT 论文，该模型依托彭博社的大量金融数据源，构建了一个 3630 亿个标签的数据集，支持金融行业内的各类任务。 在BloombergGPT相关论文中显示，BloombergGPT 的优势包括特定领域模型仍有其不可替代性且彭博数据来源可靠，金融相关任务上的性能明显优于现有模型等。

关于图相关大型语言模型 (LLM) 的一系列精彩内容。

关于图相关大型语言模型 (LLM) 的一系列精彩内容。 大型语言模型 (LLM) 在自然语言处理任务方面取得了显着进步。然而，它们与现实世界应用程序中普遍存在的图形结构的集成仍然相对未被探索。该存储库旨在通过提供精选的研究论文列表来弥合这一差距，这些论文探索基于图形的技术与 LLM 的交叉点。