: 用 Redis 作为矢量数据库，以简化在 Redis 中存储、检索以及对向量执行复杂语义和混合搜索的过程，对LLM应用提供更

: 用 Redis 作为矢量数据库，以简化在 Redis 中存储、检索以及对向量执行复杂语义和混合搜索的过程，对LLM应用提供更好的支持 RedisVL 具有许多强大的功能，旨在简化矢量数据库操作。 索引管理：RedisVL 允许轻松创建、更新和删除索引。每个索引的模式可以在 yaml 中定义，也可以直接在 python 代码中定义，并在索引的整个生命周期中使用。 嵌入创建：RedisVL 与 OpenAI、HuggingFace 和 GCP VertexAI 集成，以简化矢量化非结构化数据的过程。图像支持即将推出。提交新矢量化器的 PR。 向量搜索：RedisVL 提供强大的搜索功能，使您能够同步和异步查询向量。还支持利用标签、地理、数字和其他过滤器（如全文搜索）的混合查询。 强大的抽象：语义缓存：LLMCache是直接内置于 RedisVL 中的语义缓存接口。它允许缓存 GPT-3 等 LLM 生成的输出。由于语义搜索用于检查缓存，因此可以设置阈值来确定缓存结果是否足够相关以返回。如果没有，则调用模型并缓存结果以供将来使用。这可以提高 QPS 并降低在生产中使用 LLM 模型的成本。

：一个对话式搜索和分析平台，适用于复杂的非结构化数据，例如文档、演示文稿、成绩单、嵌入式表格和内部知识存储库。

：一个对话式搜索和分析平台，适用于复杂的非结构化数据，例如文档、演示文稿、成绩单、嵌入式表格和内部知识存储库。 它通过将人工智能引入数据准备、索引和检索来检索和综合高质量的答案。 Sycamore 可以轻松准备用于搜索和分析的非结构化数据，提供用于数据清理、信息提取、丰富、汇总和生成封装数据语义的向量嵌入的工具包。 Sycamore 使用你选择的生成式 AI 模型来使这些操作变得简单而有效，并且可以实现快速实验和迭代。此外，Sycamore 使用 OpenSearch 进行索引，支持混合（向量 + 关键字）搜索、检索增强生成 (RAG) 管道、过滤、分析功能、会话记忆和其他功能来改进信息检索。 特征 自然语言、对话界面，可针对非结构化数据提出复杂问题。包括对来源段落和对话记忆的引用。 包括对非结构化数据的各种查询操作，包括混合搜索、检索增强生成 (RAG) 和分析函数。 通过高级数据分段、用于数据丰富的 LLM 支持的 UDF、使用 Python 进行的高性能数据操作以及使用各种 AI 模型的向量嵌入，准备和丰富用于搜索和分析的复杂非结构化数据。 自动数据爬虫（Amazon S3 和 HTTP）和 Jupyter 笔记本支持等有用的功能可用于创建和迭代数据准备脚本。 可扩展、安全且可定制的 OpenSearch 后端，用于索引和数据检索。

如何构建 Supabase 的 OpenAI 文档搜索（嵌入）

如何构建 Supabase 的 OpenAI 文档搜索（嵌入） ClippyGPT是Supabase下一代文档搜索工具，你可以向Clippy询问任何有关Supabase的问题，它将使用自然语言进行回答。这一切都得益于OpenAI和提示工程。 视频覆盖以下内容： - Prompt工程和最佳实践 - 通过上下文注入 + OpenAI嵌入来处理自定义知识库 - 如何使用pgvector在Postgres中存储嵌入 || #工具

文章介绍了OpenAI开发的ChatGPT大型语言模型聊天机器人，以及如何使用OpenAI Python库构建自己的项目和工具。

文章介绍了OpenAI开发的ChatGPT大型语言模型聊天机器人，以及如何使用OpenAI Python库构建自己的项目和工具。 提供了获取API密钥、设置环境变量、使用Chat Completions API进行文本生成的步骤，提供了创建博客提纲生成器和简单ChatGPT样式聊天机器人的示例代码。 此外还介绍了如何调整温度和top_p参数来增加LLM生成响应的创造性和多样性。

AI套壳应用如何把壳做厚？

AI套壳应用如何把壳做厚？ 1.一阶：直接引用Open ai接口，ChatGPT回答什么，套壳产品回答什么。卷UI、形态、成本。 2.二阶：构建Prompt。大模型可以类比为研发，Prompt可以类比为需求文档，需求文档越清晰，研发实现得越精准。套壳产品可以积累自己的优质Prompt，卷Prompt质量高，卷Prompt分发。 3.三阶：Embedding特定数据集。把特定数据集进行向量化，在部分场景构建自己的向量数据库，以达到可以回答ChatGPT回答不出来的问题。比如垂直领域、私人数据等。Embedding可以将段落文本编码成固定维度的向量，从而便于进行语义相似度的比较，相较于Prompt可以进行更精准的检索从而获得更专业的回答。 4.四阶：微调Fine-Tuning。使用优质的问答数据进行二次训练，让模型更匹配对特定任务的理解。相较于Embedding和Prompt两者需要消耗大量的Token，微调是训练大模型本身，消耗的token更少，响应速度也更快。 一个AI应用产品如果停留在做一阶和二阶，注定是个门槛极低的产品，没有任何壁垒。 而什么场景，何时以及如何使用三阶和四阶的能力，是个关键性的问题。

AI产业的灰暗面：OpenAI、谷歌、Meta如何获取训练语料

AI产业的灰暗面：OpenAI、谷歌、Meta如何获取训练语料 《纽约时报》在本周末刊发的调查报道中，揭露了OpenAI、Google、Meta等公司为了获取训练语料所采取的一些“走捷径”措施，同时也展现了整个行业迫在眉睫的困境。美国科技巨头各走“捷径”2021年末，正在训练GPT-4的OpenAI遇到了一个棘手的问题，公司已经耗尽了互联网上所有可靠的英文文本资源，而他们需要更多、更大规模的数据来训练更强大的模型。为了处理这个问题，OpenAI的Whisper语音识别工具诞生了用来转录Google旗下视频平台Youtube的视频音频，生成大量的对话文本。报道称，包括OpenAI总裁布洛克曼在内的团队总共转录了超过一百万小时的Youtube视频。随后这些资料被输入到GPT-4系统中，并成为聊天机器人ChatGPT的基础。根据Google的政策，禁止用户将平台上的视频用于“独立”应用，同时禁止通过任何自动化手段（爬虫等）访问其视频。有趣的是，在OpenAI偷偷扒Youtube视频时，Google也在转录自家流媒体平台的内容训练大模型同样冒着侵犯版权的风险。正因如此，虽然有Google员工知道OpenAI在这么干，也没有出手阻止。因为一旦Google对OpenAI提出抗议，也有可能“引火烧身”到自己身上。对于是否采用Youtube视频训练AI的询问，OpenAI方面回应称，他们使用了“多个来源”的数据。Google发言人Matt Bryant则表示，公司对OpenAI的行为一无所知，且禁止任何人“未经授权抓取或下载Youtube视频”。不过Bryant也表示，公司只会在有明确法律、技术依据时才会采取行动。Google自家的条款，则允许平台使用这些视频开发视频平台的新功能，但这样的措辞是否意味着Google能用这些资料开发商用AI，也存在不小的疑问。与此同时，Meta的内部会议纪要显示，工程师和产品经理讨论了购买美国大型出版商Simon & Schuster以获取长文本资料的计划，另外他们还讨论了从互联网上收集受版权保护的内容，并表示“与出版商、艺术家、音乐家和新闻行业谈判授权需要的时间太多了”。据悉，有Meta的高管表示，OpenAI似乎正在使用受版权保护的材料，所以公司也可以遵循这个“市场先例”。更显性的变化是，Google去年修改了服务条款。根据内部资料显示，推动隐私政策变化的动机之一，包括允许Google利用公开的Google文档、Google地图上的餐厅评论，以及更多在线资料开发AI产品。最终Google赶在美国国庆节（7月4日）放假前的7月1日发布了修改后的隐私条款，将“使用公开信息训练AI模型”首次纳入其中。Bryant回应称，公司不会在没有用户“明确许可”的情况下使用他们的Google文档来训练AI，这里指的是自愿参与的实验性功能体验计划。即便如此还是不够正因为这些操作，近些年来伴随着人们对AI能力的惊叹，越来越多的版权方也开始意识到自己的数据被偷偷拿走训练AI了。包括《纽约时报》、一些电影制作人和作家已经将这些科技公司告上法庭，美国著作权局也正在制定版权法在AI时代的适用指南。问题在于，即便一些作家、制片人将科技公司的行为称为“美国史上最大盗窃案”，科技公司用来发展下一代AI的数据依然还是不够。2020年初，约翰霍普金斯大学的理论物理学家（现Anthropic首席科学官）Jared Kaplan发布了一篇论文，明确表示训练大语言模型用的数据越多，表现就会越好。自那以后，“规模就是一切”成为了人工智能行业的信条。2020年11月发布的GPT-3包含约3000亿个Token的训练数据。2022年，GoogleDeepMind对400个人工智能模型进行测试，其中表现最好的模型（之一），一个名为Chinchilla的模型用了1.4万亿个Token的数据。到2023年，中国科学家开发的Skywork大模型在训练中使用了3.2万亿个英文和中文Token，GooglePaLM 2的训练数据量则达到3.6万亿个Token。研究机构Epoch直白地表示，现在科技公司使用数据的速度已经超过数据生产的速度，这些公司最快会在2026年就耗尽互联网上的高质量数据。面对这样的问题，奥尔特曼已经提出了一种解决方法：像OpenAI这样的公司，最终会转向使用AI生成的数据（也被称为合成数据）来训练AI。这样开发人员在创建愈发强大的技术同时，也会减少对受版权保护数据的依赖。目前OpenAI和一系列机构也正在研究使用两个不同的模型，能否共同生成更有用、更可靠的合成数据一个系统产生数据，另一个系统对信息进行评判。当然，这种技术路径是否可行，目前仍存争议。前 OpenAI 研究员Jeff Clune认为，这些AI系统所需的数据就像是穿越丛林的路径，如果这些公司只是在合成数据上训练，AI可能会在丛林里迷失。 ... PC版： 手机版：