非结构化数据分析机器学习平台

非结构化数据分析机器学习平台世界上80%的数据是以文本、图像、音频、视频等形式呈现的非结构化数据。使用Relevance释放非结构化数据的价值：在几行代码中使用预训练的机器学习模型快速分析非结构化数据。可视化你的非结构化数据。来自命名实体识别的文本突出显示，来自关键字的词云，来自图像的边界框。为结构化和非结构化创建图表。使用过滤器和相似性搜索进行钻取以探索和发现见解。与团队共享数据应用程序。RelevanceAI还充当以下平台：向量，通过灵活的向量相似性搜索存储和查询向量，可以与多个向量、聚合和过滤器组合。ML数据集评估，用于调试数据集标签、模型输出和显示边缘案例。#机器学习

可扩展、分布式、协作式文档-图数据库，可用于实时 Web应用

可扩展、分布式、协作式文档-图数据库，可用于实时Web应用SurrealDB是一个端到端的云原生数据库，适用于Web、移动、无服务器、jamstack、后端和传统应用程序。SurrealDB通过简化数据库和API堆栈来减少现代应用程序的开发时间，消除对大多数服务器端组件的需求，让你能够更快、更便宜地构建安全、高性能的应用程序。SurrealDB既充当数据库，又充当现代、实时、协作的API后端层。SurrealDB可以作为单个服务器运行，也可以以高可用、高可扩展的分布式模式运行——支持从客户端设备进行SQL查询、GraphQL、ACID事务、WebSocket连接、结构化和非结构化数据、图形查询、全文索引、地理空间查询和逐行基于权限的访问。特征：数据库服务器或嵌入式库多行、多表ACID事务单节点或高度可扩展的分布式模式记录链接和有向类型图连接存储结构化和非结构化数据用于预先计算的高级分析的增量计算视图Realtime-api层，内置安全权限使用表格、文档和图形以任何方式存储和建模数据前端和后端开发的简单模式定义直接从网络浏览器和客户端设备连接和查询使用嵌入式JavaScript函数实现自定义高级功能

一种为机器学习而生的数据结构，非结构化多模态数据的数据结构

一种为机器学习而生的数据结构，非结构化多模态数据的数据结构DocArray是一个库，用于存储传输中的嵌套、非结构化、多模态数据，包括文本、图像、音频、视频、3D网格等。它允许深度学习工程师使用PythonicAPI有效地处理，嵌入，搜索，推荐，存储和传输多模态数据跨/多模式世界之门：用于表示复杂/混合/嵌套文本、图像、视频、音频、3D网格数据的超表达数据结构。、、、等基础数据结构。数据科学强国：通过CPU/GPU上的Torch/TensorFlow/ONNX/PaddlePaddle大大加快数据科学家在嵌入、k-NN匹配、查询、可视化和评估方面的工作。传输中的数据：针对网络通信进行了优化，随时可以使用Protobuf、字节、base64、JSON、CSV、DataFrame中的快速压缩序列化。非常适合流式传输和内存不足的数据。一站式K-NN：主流向量数据库的统一且一致的API，允许最近邻搜索，包括Elasticsearch、Redis、ANNLite、Qdrant、Weaviate。对于现代应用程序：GraphQL支持使您的服务器在请求和响应方面具有通用性；内置数据验证和JSONSchema(OpenAPI)帮助您构建可靠的Web服务。Pythonic：设计得像Python列表一样简单。如果你知道如何使用Python，你就会知道如何使用DocArray。直观的习惯用法和类型注释简化了您编写的代码。与IDE集成：Jupyternotebook和GoogleColab上的漂亮打印和可视化；PyCharm和VSCode中的全面自动完成和类型提示。#机器学习

RedisVL: 用 Redis 作为矢量数据库，以简化在 Redis 中存储、检索以及对向量执行复杂语义和混合搜索的过程，对L

:用Redis作为矢量数据库，以简化在Redis中存储、检索以及对向量执行复杂语义和混合搜索的过程，对LLM应用提供更好的支持RedisVL具有许多强大的功能，旨在简化矢量数据库操作。索引管理：RedisVL允许轻松创建、更新和删除索引。每个索引的模式可以在yaml中定义，也可以直接在python代码中定义，并在索引的整个生命周期中使用。嵌入创建：RedisVL与OpenAI、HuggingFace和GCPVertexAI集成，以简化矢量化非结构化数据的过程。图像支持即将推出。提交新矢量化器的PR。向量搜索：RedisVL提供强大的搜索功能，使您能够同步和异步查询向量。还支持利用标签、地理、数字和其他过滤器（如全文搜索）的混合查询。强大的抽象：语义缓存：LLMCache是直接内置于RedisVL中的语义缓存接口。它允许缓存GPT-3等LLM生成的输出。由于语义搜索用于检查缓存，因此可以设置阈值来确定缓存结果是否足够相关以返回。如果没有，则调用模型并缓存结果以供将来使用。这可以提高QPS并降低在生产中使用LLM模型的成本。

面向移动/嵌入式平台的算子性能调优工具箱

面向移动/嵌入式平台的算子性能调优工具箱特征。调查目标CPU/GPU的基本微架构参数(uarch)。绘制分层屋顶线模型的图形，用于评价性能。收集CPU/GPUPMU事件数据。分析CPU/GPUPMU事件数据（TMA方法论和自定义指标），用于识别性能瓶颈。OpenCLLinter，用于指导手动OpenCL内核优化[TBD]。C++项目支持平台：ARMCPU、MaliGPU、Adreno6xxGPU轻量级和可填充的库iOS平台尚未完全开发使用。

大规模检索增强生成 - 构建用于同步和摄取数十亿文本嵌入的分布式系统。| blog

大规模检索增强生成-构建用于同步和摄取数十亿文本嵌入的分布式系统。文章详细介绍了NeumAI的一些技术和架构细节——NeumAI是一个用于大规模嵌入管理、优化和同步的数据平台，本质上有助于大规模RAG。RAG通过以“自然方式”执行搜索来帮助快速查找数据，并使用该信息/知识为需要此类信息的更准确的人工智能应用程序提供支持。这是许多人在构建准确且最新的人工智能应用程序时采用的最新方法。