如何基于 ChatGPT 创建个人的知识库 AI

如何基于ChatGPT创建个人的知识库AI经过几周的内测，现在正式发布CopilotHubhttps://app.copilothub.coCopilotHub是一个帮助你基于私有数据创建智能知识库&人格化AI的平台。你可以基于文档、网站、Notiondatabase或其他数据源在几分钟内创建一个自定义的ChatGPT。平台上已经预训练了一些AI，例如：-基于SteveJobs传记、演讲、书信训练的SteveMindAI，可以以SteveJobs的视角来回答你的问题-基于HowtoStartaStartup这门课的语料训练的StartupLaunch创业导师，可以回答任何关于创业的问题如何创建一个自己的Copilot第一步：选择数据源目前对免费用户仅开放了单文件上传的数据源，可以选择对应的文档上传，CopilotHub会自动在云端进行解析。未来会支持：-更多的文档格式-GitHubRepo接入-NotionDatabase接入-URL接入第二步：定义Copilot的配置最重要的就是UserPrompt的配置，使用恰当的prompt可以让你的Copilot输出的结果更好。一般的用户直接省略即可，默认的prompt已经可以完成大部分场景的需求了。第三步：Chat创建完Copilot之后就可以直接和AI进行聊天了，使用方式和ChatGPT类似。目前所有的生成结果都是根据数据源中对应的内容来生成的（会在后面几个版本增加source的展示），所以一定程度上可以解决ChatGPT胡说八道的问题。CopilotHub同时也是一个社区，你可以在Gallery中浏览到其他人创建的公开Copilot并进行交互。

动手学大模型应用开发：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门主要内容包括：大模型简介，何为大模型、大模型特点是什么、LangChain是什么，针对小白开发者的简单介绍；如何调用大模型API，本节介绍了国内外知名大模型产品API的多种调用方式，包括调用原生API、封装为LangChainLLM、封装为Fastapi等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型API进行了统一形式封装；大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析；数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建；Prompt设计，如何设计Prompt来让大模型完成特定任务，PromptEngineering的原则和技巧有哪些；验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么；前后端开发，如何使用Gradio、FastAPI等框架快速开发大模型Demo，展示应用能力。

目前工程实践上，大家把优化的重点基本都放在了retrieve环节里，这里面涉及三个重要的问题：

目前工程实践上，大家把优化的重点基本都放在了retrieve环节里，这里面涉及三个重要的问题：1⃣howandwhatdoIretrieve：从传统的相似性检索、文本检索，到目前最常用的依托于embedding的语义检索，大家在实践中仍在不断迭代。Kiela后面也提到有研究希望把整个retriever过程做成一个模型，他也在课程中构想未来应该把retriever的训练也纳入到LLM的训练架构中。文本的embedding可简化理解为文本的向量化表达，并且可根据不同文本的向量化表达，判断出文本之间语义的远近亲疏关系。目前的文本emebedding也都是通过模型来实现的，这类模型也在不断迭代。OpenAI在今年1月份推出了text-embedding-3(small和large两版)，相比其2022年12月推出的ada-002模型，在性能上获得了显著提升。用于多语言检索的常用基准(MIRACL)平均分数已从31.4%(ada-002)增加到44.0%(3-small)和54.9%(3-large)。附图之一是OpenAI对其textemebedding模型作用机制的示意。2⃣Whentoretrieve:一般就两种思路。一种是在获得检索范围后即retrieve，另一种是让模型判断何时retrieve。3⃣Howtoencode:如何编码也直接影响了如何检索的过程。其他问题：1⃣howtopre-process:实际上强调就是input要包含systemprompt，可设定角色、技能、任务、工作流、限制条件等。2⃣howtoprompt:涉及提示词工程的方法论。3⃣howtopasscontext:可以把context作为prompt的一部分以文本形式输入，也可通过代码的方式代入。4⃣howtopost-process:比如格式化输出的处理，如固定输出json格式，或固定在末尾输出reference列表等。5⃣howtoverify:指的是如何验证output的效果或质量，比如验证output与知识库的相关性、准确性等。最后，还有关于RAG整体架构的审视框架：1⃣Howtooptimize:各环节哪些地方可以优化。架构中已经列出的问题都是思考的重点。2⃣Howtolearn:这里的learn应该指的是机器学习的learn，探讨各环节从software1.0的静态架构向机器学习和software2.0的演进。3⃣howtoscale:如何应对规模化的问题。比如关于知识库如何chunk、何时编码，在知识库过大时就不适合提前预处理好chunk和编码。或者大量用户同时prompt该如何应对。前段时间判断过2024年会是RAG应用爆发的一年https://m.okjike.com/originalPosts/6602dca712ed2fda687ec0a3?s=ewoidSI6ICI2M2VlMjQ0NjhhMGY3NzVjODQyMmY1NzEiCn0=，自己在2B业务中也涉及RAG工程的落地，所以花了些精力来学习这节课。以上内容夹杂了不少自己的个人理解，欢迎批评指正，一起交流学习~links:StanfordCS25V42024春季课程(面向公众开放，有人想一起学习搭子么？)https://web.stanford.edu/class/cs25/StanfordCS25V3:RetrievalAugmentedLanguageModelshttps://www.youtube.com/watch?v=mE7IDf2SmJgRAG论文原文https://arxiv.org/abs/2005.11401OpenAItext-embedding-3modelshttps://openai.com/blog/new-embedding-models-and-api-updates?tOpenAItext-embedding-ada-002modelhttps://openai.com/blog/new-and-improved-embedding-model?tSoftware2.0byAndrejKarpathyhttps://karpathy.medium.com/software-2-0-a64152b37c35Kiela在讲这节课几个月后在其创立的ContextualAI正式推出RAG2.0https://contextual.ai/introducing-rag2/

一个做的比较专业的 AI Chatbot，MindOS，mindos.com，平台提供了一系列 AI 伴侣可以直接对话，具备较为

一个做的比较专业的AIChatbot，MindOS，mindos.com，平台提供了一系列AI伴侣可以直接对话，具备较为强大的AI副驾驶定制化能力，包括APIs、Workflows、Knowledge和Memory。APIs是一系列集成的三方接口，包括Google内容搜索、天气查询、Youtube视频查询等，甚至还包括LLMasaService的服务接入，也支持自定义接入。Workflows类似一个低代码编辑器，允许定义各种Nodes节点，例如抓取、分析和处理数据等，包括对数据的重新排列组合，还支持编程方式处理数据，每个Node都是一个Prompt驱动的任务执行器。Knowledge解决了幻觉问题，而Memory可以用来缓存和读取数据，它有点类似一个Prompt驱动的Database。

如何做一部风格化鲜明又统一的 AI 短片？

如何做一部风格化鲜明又统一的AI短片？「VISION」视频制作流程分享分享色彩统一、主题鲜明、流动感强的技巧原视频：https://m.okjike.com/originalPosts/666d7cd319d274e296add59d?s=ewoidSI6ICI2NDk0MzEwNDA1MDU0NDcyNjRkNmI3MDEiCn0=偶然在MJ中抽卡“MonumentValley”发现了这个色彩斑斓红色岩石般的风格便开启这次AI创作之旅，文案、配音、配乐、图片、视频均由AI制作，我提供灵感和剪辑。1⃣MJStylePrompt在MJ网页版更好操作，用第一张图作为风格参考图后，后面的prompt只需要描述物体意向即可。比如鸟、树、森林、月亮，是本次我想创作的主题。如图2。2⃣文案与配音想营造马丁卢瑟金充满希望向上的生命力，我使用11labs克隆自己的声音，用日语念独白。独白让GPT4o生成一份“模仿马丁Ihaveadream演讲，关于生活向往的文章”我上传了在干净环境下录制的4mins说话素材到11labs即可完成instantclonevoice，如图3。实测声音特别像我念日语！很惊艳3⃣配乐配乐用Suno，描绘创作想法就可以找到你想要的配乐，没抽卡几次。prompt很简单：flyingthroughamonumentvalley,relaxing,exciting,andalittlebithalariousandweird.因为想要一种向上，但又不是正能量向上的感觉。所以加上了“略微奇怪”4⃣动起来的视频Luma和Runway均使用了（为了分摊成本和时间）。从视频右上角水印你可以看出哪些是Luma的。Runway适合只有一点动感的场景，比如水波纹流动，略微场景透视变化。Luma适合开头飞跃山谷这种透视变化的3D/2.5D场景。Runway更稳定一些，Luma抽卡失败率较高，可以酌情考虑成本和抽卡时间。5⃣蒙太奇剪辑只需要使用textbased剪辑手法即可，根据音乐节奏调整素材速度。字幕和字体很关键，适当加一些转场特效。一个小tips，让画面与音乐变化或台词变化的节奏错开一点，会增加视频的有机程度，没那么像卡点剪辑。

AI Companion App：创建和训练属于你的AI伴侣

：创建和训练属于你的AI伴侣它提供了一套框架和工具，你可以根据自己的需求和想象，设定AI伴侣的个性、背景故事和能力，然后使用这个框架进行训练和部署。这样每个人都可以拥有一个定制的AI伴侣，满足他们特定的需求和期望。它允许你确定你的伴侣的个性和背景故事，并使用一个带有相似性搜索的向量数据库来检索和提示，使对话具有更深的深度。它还通过将对话保留在队列中并包含在提示中，提供了一些对话记忆。AICompanionApp当前包含两种AI伴侣，一种基于ChatGPT，另一种是基于Vicuna的伴侣，都托管在Replicate平台上的。