现在做基于Embedding的文档问答已经不是什么新鲜事，但是这个视频还是值得一看，主要是他介绍了几种不同的生成问答结果的方式：

现在做基于Embedding的文档问答已经不是什么新鲜事，但是这个视频还是值得一看，主要是他介绍了几种不同的生成问答结果的方式：1.Stuff，我们熟知的把找到的文档块和问题一起扔给LLM总结2.Map_reduce，对每一个文档块和问题分别人给LLM，最后把所有结果一起摘要，适用于文档类型不同，或者找到的文档太多的情况，可以并行处理3.Refine和Map_reduce类似，只是它是线性的，第一个回答完，将第一个得到的内容和第二个文档块还有问题一起给LLM，所以没法并行处理4.Map_rereank也和前面两个类似，但是它也是每个文档块去独立拿结果，但同时让LLM打分，最后根据打分情况来选分数最高的。这个的关键在于LLM能对结果打分。BTW：这个LangChain的系列字幕翻译进度很慢，是因为主讲的这哥们讲课水平比起Isa姐姐水平差太多，很多问题讲不清楚，如果按照字面意思翻译很难看懂，所以需要在翻译时帮助改写或者补充很多信息基于LangChain的大语言模型应用开发5——基于文档的问答LangChainforLLMApplicationDevelopment基于LangChain的大语言模型应用开发第5集QuestionandAnsweroverDocuments基于文档的问答频道：@chiguadashen

动手学大模型应用开发：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门主要内容包括：大模型简介，何为大模型、大模型特点是什么、LangChain是什么，针对小白开发者的简单介绍；如何调用大模型API，本节介绍了国内外知名大模型产品API的多种调用方式，包括调用原生API、封装为LangChainLLM、封装为Fastapi等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型API进行了统一形式封装；大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析；数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建；Prompt设计，如何设计Prompt来让大模型完成特定任务，PromptEngineering的原则和技巧有哪些；验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么；前后端开发，如何使用Gradio、FastAPI等框架快速开发大模型Demo，展示应用能力。

最近和几个朋友聊天记录：

最近和几个朋友聊天记录：1.我问他是怎么建Prompt的验收标准的：准备好Query，归纳抽象理想回答的几条Principle，找一个更聪明的大模型基于这个Principle来给Prompt的结果打分，每次上线前跑1000条。感觉挺makesense，想测试一下。2.perplexity怎么解决搜索引擎响应速度的问题：去年8月份就宣布基于3.5版本的微调模型已经比GPT4快且效果好，且自研了推理堆栈（pplx-api），能大幅度提升响应速度。微调没那么难搞，只要场景垂数据集质量高，一周左右。3.在厂里的朋友说在搞低代码搭建Agent，面向B端，找不到太落地的具体场景，还要搞权限数据集多环境版本，由于B端业务逻辑比较复杂，要依赖现有GUI，要跳卡片或者跳页面，比C端难做太多了。

开源大模型使用指南 | #指南

#指南本项目是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。本项目的主要内容包括：基于AutoDL平台（可扩展，例如阿里云）的开源LLM环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；针对国内外主流开源LLM的部署使用教程，包括LLaMA、ChatGLM、InternLM等；开源LLM的部署应用指导，包括命令行调用、在线Demo部署、LangChain框架集成等；开源LLM的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning等。本项目适合以下学习者：想要使用或体验LLM，但无条件获得或使用相关API；希望长期、低成本、大量应用LLM；对开源LLM感兴趣，想要亲自上手开源LLM；NLP在学，希望进一步学习LLM；希望结合开源LLM，打造领域特色的私域LLM；以及最广大、最普通的学生群体。

《开源大模型食用指南》基于Linux环境快速部署开源大模型 | #指南

《》基于Linux环境快速部署开源大模型#指南本项目是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。本项目的主要内容包括：基于AutoDL平台（可扩展，例如阿里云）的开源LLM环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；针对国内外主流开源LLM的部署使用教程，包括LLaMA、ChatGLM、InternLM等；开源LLM的部署应用指导，包括命令行调用、在线Demo部署、LangChain框架集成等；开源LLM的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning等。

AI套壳应用如何把壳做厚？

AI套壳应用如何把壳做厚？1.一阶：直接引用Openai接口，ChatGPT回答什么，套壳产品回答什么。卷UI、形态、成本。2.二阶：构建Prompt。大模型可以类比为研发，Prompt可以类比为需求文档，需求文档越清晰，研发实现得越精准。套壳产品可以积累自己的优质Prompt，卷Prompt质量高，卷Prompt分发。3.三阶：Embedding特定数据集。把特定数据集进行向量化，在部分场景构建自己的向量数据库，以达到可以回答ChatGPT回答不出来的问题。比如垂直领域、私人数据等。Embedding可以将段落文本编码成固定维度的向量，从而便于进行语义相似度的比较，相较于Prompt可以进行更精准的检索从而获得更专业的回答。4.四阶：微调Fine-Tuning。使用优质的问答数据进行二次训练，让模型更匹配对特定任务的理解。相较于Embedding和Prompt两者需要消耗大量的Token，微调是训练大模型本身，消耗的token更少，响应速度也更快。一个AI应用产品如果停留在做一阶和二阶，注定是个门槛极低的产品，没有任何壁垒。而什么场景，何时以及如何使用三阶和四阶的能力，是个关键性的问题。