一个开源的文档内容高效检索 AI 工具：Semantra，与传统的文本匹配方式不同，它能够直接使用语义查询，提升检索效率。可选择

一个开源的文档内容高效检索AI工具：Semantra，与传统的文本匹配方式不同，它能够直接使用语义查询，提升检索效率。可选择多种语言模型，支持在本地离线部署运行，注重隐私安全。使用命令行即可快速处理本地的文本和PDF文件。在任务完成后，它会在本地搭建一个Web搜索页面，让你能在界面上对直接查询文档。Semantra的设计目的是方便易用，可定制。适合需要在大量文档中进行精确搜索的个人或团体，例如新闻从业者、研究员、学生或教师等。主要作用是对存储在本地计算机上的文档（文本或PDF文件）进行操作，你可以选择处理单个或多个文档。该项目对文档的处理有两种方式：「内嵌模型」和调用「OpenAIAPI」。默认是用的MPNet语言模型。如果你电脑配置还过得去，或者想离线处理文档，可以优先选择下载大语言模型，这种方式可以最大程度保证你的隐私安全。如果想用OpenAIAPI，项目也提供了相对应的方案，不过所产生的Token消耗，你需要自行承担。针对这两种方案，作者都在GitHub中给出了详细文档。#工具

史料RAG：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的

：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的历史资料片段，利用大语言模型给出较为可靠的回答。相比于直接询问大模型，这种方式具有回答准确率高，不容易产生大模型的“幻觉”问题等优点。本项目实现了两种使用方式：“Milvus方案“在本地启动一个Milvus向量数据库的Docker服务，使用LlamaIndex框架和本地BAAI/bge-base-zh-v1.5Embedding模型实现RAG的业务逻辑。“ZillizCloudPipelines方案”使用云上的知识库检索服务ZillizCloudPipelines，该服务包括了RAG流程的文档切片、向量化、向量检索等功能。两种方案均使用OpenAI的GPT4作为大语言模型。

科学家们为照亮人工智能的"黑匣子"而创造了一套决策评估方法

科学家们为照亮人工智能的"黑匣子"而创造了一套决策评估方法这种新方法揭示了所谓的"黑匣子"人工智能算法的神秘工作原理，帮助用户了解什么会影响人工智能产生的结果，以及这些结果是否可以信任。这在对人类健康和福祉有重大影响的情况下尤其重要，例如在医疗应用中使用人工智能。这项研究在即将出台的欧盟人工智能法案的背景下具有特别的意义，该法案旨在规范欧盟内部人工智能的发展和使用。这些研究结果最近发表在《自然-机器智能》杂志上。时间序列数据--代表信息随时间的演变无处不在：例如在医学上，用心电图记录心脏活动；在地震研究中；跟踪天气模式；或在经济学上监测金融市场。这些数据可以通过人工智能技术进行建模，以建立诊断或预测工具。人工智能的进步，特别是深度学习--包括使用这些非常大量的数据训练机器，目的是解释它并学习有用的模式为越来越准确的诊断和预测工具开辟了道路。然而，由于没有深入了解人工智能算法的工作方式或影响其结果的因素，人工智能技术的"黑匣子"性质提出了关于可信度的重要问题。"这些算法的工作方式至少可以说是不透明的，"共同指导这项工作的UNIGE医学院放射学和医学信息学系主任兼HUG医学信息科学部主任ChristianLovis教授说。''当然，赌注，特别是经济上的赌注是非常高的。但是，如果不了解机器的推理基础，我们怎么能相信它？这些问题是至关重要的，特别是在医学等部门，人工智能驱动的决策可以影响人们的健康甚至生命；在金融领域，它们可以导致巨大的资本损失。"可解释性方法旨在通过破译人工智能为什么和如何达成一个特定的决定以及其背后的原因来回答这些问题。''知道在特定情况下哪些因素使天平倾向于支持或反对一个解决方案，从而允许一些透明度，增加对它们的信任，''新加坡国立大学设计与工程学院MathEXLab主任GianmarcoMengaldo助理教授说，他共同指导了这项工作。"然而，目前在实际应用和工业工作流程中广泛使用的可解释性方法在应用于同一任务时提供了明显不同的结果。这就提出了一个重要的问题：既然应该有一个唯一的、正确的答案，那么什么可解释性方法是正确的？因此，对可解释性方法的评价变得和可解释性本身一样重要"。区分重要的和不重要的辨别数据在开发可解释性人工智能技术方面至关重要。例如，当人工智能分析图像时，它专注于一些特征属性。洛维斯教授实验室的博士生和该研究的第一作者HuguesTurbé解释说：''例如，人工智能可以区分狗的图像和猫的图像。同样的原则适用于分析时间序列：机器需要能够选择一些元素--例如比其他元素更明显的峰值--来作为其推理的基础。对于心电图信号，这意味着调和来自不同电极的信号，以评估可能的不协调，这将是特定心脏疾病的标志。"在所有可用于特定目的的方法中选择一种可解释性方法并不容易。不同的人工智能可解释性方法往往产生非常不同的结果，即使是应用于相同的数据集和任务。为了应对这一挑战，研究人员开发了两种新的评估方法，以帮助了解人工智能如何做出决定：一种用于识别信号中最相关的部分，另一种用于评估它们对最终预测的相对重要性。为了评估可解释性，他们隐藏了一部分数据以验证它是否与人工智能的决策有关。然而，这种方法有时会在结果中造成错误。为了纠正这一点，他们在一个包括隐藏数据的增强型数据集上训练人工智能，这有助于保持数据的平衡和准确。然后，该团队创建了两种方法来衡量可解释性方法的工作情况，显示人工智能是否使用正确的数据进行决策，以及所有数据是否被公平考虑。"总的来说，我们的方法旨在评估将在其操作领域内实际使用的模型，从而确保其可靠性，"HuguesTurbé解释说。为了进一步研究，该团队已经开发了一个合成数据集，他们已经向科学界提供了该数据集，以轻松评估任何旨在解释时间序列的新人工智能。在医学应用的未来展望未来，该团队现在计划在临床环境中测试他们的方法，那里对人工智能的忧虑仍然很普遍。MinaBjelogrlic博士解释说，他是Lovis教授部门的机器学习团队的负责人，也是这项研究的第二作者，"建立对人工智能评估的信心是在临床环境中采用它们的关键步骤。我们的研究侧重于对基于时间序列的AI的评估，但同样的方法可以应用于基于医学中使用的其他模式的AI，如图像或文本。"...PC版：https://www.cnbeta.com.tw/articles/soft/1358077.htm手机版：https://m.cnbeta.com.tw/view/1358077.htm

Supabase 是一个开源的 Firebase 替代品，提供了一系列的后端功能，让你可以更快地构建产品。主要特点有：

Supabase是一个开源的Firebase替代品，提供了一系列的后端功能，让你可以更快地构建产品。主要特点有：数据库：Supabase使用PostgreSQL作为数据库，支持SQL和RESTfulAPI访问。认证：Supabase提供了一个完整的认证系统，支持邮箱、手机号、第三方服务等多种登录方式。实时订阅：Supabase允许你通过WebSocket实现实时数据同步，无需编写额外的代码。存储：Supabase提供了一个对象存储服务，可以方便地上传、下载和管理文件。边缘函数：Supabase支持在边缘节点上运行JavaScript函数，可以用来处理请求或触发事件。Supabase有一个免费套餐，可以让你创建最多三个项目，并享受一定的资源限额。如果你需要更多的项目或资源，你可以选择按需付费或者预付费的套餐。Supabase与Firebase的比较Supabase和Firebase有一些相似之处，也有一些不同之处。以下是一些主要的比较点：数据库：Supabase使用PostgreSQL，而Firebase使用NoSQL数据库。认证：Supabase提供了更多的登录方式和角色管理，而Firebase则提供了更多的身份验证选项和密码重置功能。实时订阅：Supabase使用WebSocket实现实时数据同步，而Firebase使用实时数据库和CloudFunctions。存储：Supabase提供了对象存储服务，而Firebase则提供了实时数据库和云存储。边缘函数：Supabase支持在边缘节点上运行JavaScript函数，而Firebase则提供了云函数。几乎有所有的鉴权的特性，API同时非常简单，同时还有很多集成的实例代码。提供了比较高级的权限管理以及一套React的前端组件，可以进行简单的定制化。

开源我昨天写了一天的 RAG-Search API 项目

开源我昨天写了一天的RAG-SearchAPI项目https://github.com/thinkany-ai/rag-search使用谷歌搜索引擎+zilliz向量数据库实现联网数据的召回(retrieval)和重排(reranking)，获取搜索链接的详情内容，通过向量相似度匹配过滤内容。在LLM的普遍longcontext时代到来之前，RAG检索优化有非常重要的意义。这个项目旨在提供一个高效/精准的RAGSearchAPI，帮助做AISearchEngine/ChatBot的朋友，实现更好的Search/Chat效果。目前第一个版本实现的还不够好，每一个步骤都有很大的优化空间，希望有更多的朋友参与共建。也欢迎体验我上周写的AISearchEngine（需要科学上网）https://thinkany.ai

RAG(Retrieval Augmented Generation)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的

(RetrievalAugmentedGeneration)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的技术。它是2022年后最流行的大语言模型系统架构之一，有很多产品都是基于RAG构建的。LangChain和LlamaIndex是两个流行的开源RAG库。RAG由搜索和大语言模型提示组成，可以看作是搜索+大语言模型的结合。基本流程包括：将文本分块，用TransformerEncoder模型将这些块嵌入为向量，将向量放入索引，构造提示，让大语言模型基于检索到的上下文来回答用户查询。本文详细介绍和说明了RAG中的各种高级技术和算法，以及对这些技术的参考实现，旨在帮助开发者更深入地了解RAG技术。