:多模态、函数调用驱动的LLM webui,旨在与Mixtral 8x7B + TabbyAPI一起使用,提供了广泛的功能:

:多模态、函数调用驱动的LLM webui,旨在与Mixtral 8x7B + TabbyAPI一起使用,提供了广泛的功能: 使用 DuckDuckGo 和网络抓取功能进行互联网搜索。 使用 comfyui 生成图像。 使用 sharegpt4v(通过 llama.cpp 的服务器)、OCR 和 Yolo 输入图像。 使用nmap进行端口扫描。 Wolfram Alpha 集成。 Python 解释器。 RAG 可对 PDF 和各种文本文件进行语义搜索。 90% 的 Web 部件(HTML、JS、CSS 和 Flask)完全由 Mixtral 编写。

相关推荐

封面图片

:通过使用本地大语言模型 (LLM),自动推荐函数名称,帮用户进行软件逆向工程

:通过使用本地大语言模型 (LLM),自动推荐函数名称,帮用户进行软件逆向工程 核心特点 离线操作:完全在本地CPU/GPU上运行LLM,确保数据隐私和安全。 自动函数命名:从反编译器输出中自动建议具有语义意义的函数名称。 Binary Ninja 集成:作为插件与 Binary Ninja 无缝集成。 模块化架构:专为轻松扩展而设计,以支持 IDA 和 Ghidra 等其他逆向工程工具。 消费类硬件兼容性:经过优化,可在消费级硬件(例如 Apple 芯片架构)上运行。

封面图片

:高级的多模态 AI 模型,旨在通过集成其他数据模态(如图像、音频、3D 和视频内容)来扩展传统语言处理系统的功能。

:高级的多模态 AI 模型,旨在通过集成其他数据模态(如图像、音频、3D 和视频内容)来扩展传统语言处理系统的功能。 开源 OmniFusion 核心是 Mistral-7B。该模型有两个版本:第一个使用一个视觉编码器 CLIP-ViT-L,第二个使用两个编码器(CLIP-ViT-L 和 Dino V2)。最初专注于图像,我们选择 CLIP-ViT-L 作为视觉编码器,因为它具有高效的信息传输能力。 OmniFusion 最重要的组件是它的适配器,这是一种允许语言模型解释和合并来自不同模式的信息的机制。对于单编码器版本,适配器是单层四头变压器层,与更简单的线性层或 MLP 结构相比,它表现出了卓越的性能。具有两个编码器的模型使用一个适配器,该适配器从视觉编码器的所有层收集特征,该适配器没有注意层。 该适配器从视觉编码器(不包括 CLS 令牌)获取嵌入,并将它们映射到与语言模型兼容的文本嵌入。

封面图片

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架,利用多模态LLM的链式推理能力增强文本到图

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架,利用多模态LLM的链式推理能力增强文本到图像扩散模型的组合性。 该框架采用MLLM作为全局规划器,将复杂图像生成过程分解为多个子区域内的简单生成任务。同时提出了互补的区域扩散以实现区域化的组合生成。此外,在提出的RPG框架中闭环地集成了文本引导的图像生成和编辑,从而增强了泛化能力。 大量实验证明,RPG-DiffusionMaster在多类别对象组合和文本-图像语义对齐方面优于DALL-E 3和SDXL等最先进的文本到图像扩散模型。特别地,RPG框架与各种MLLM架构(例如MiniGPT-4)和扩散骨干(例如ControlNet)兼容性广泛。 需求人群: "RPG-DiffusionMaster可用于文本到图像生成和编辑,特别擅长处理复杂的文本提示和多对象多属性关系。" 使用场景示例: 使用RPG-DiffusionMaster生成包含多个对象的图像 利用RPG-DiffusionMaster编辑图像以实现文本语义对齐 采用RPG-DiffusionMaster进行文本到图像生成的实验 产品特色: 利用多模态LLM进行全局规划 将复杂图像生成过程分解为简单生成任务 实现区域化的组合生成 闭环集成文本引导的图像生成和编辑 提高泛化能力 优于其他文本到图像扩散模型 | #框架

封面图片

:用Rust编写的GPU加速语言模型(LLM)服务器,可高效提供多个本地LLM模型的服务。

:用Rust编写的GPU加速语言模型(LLM)服务器,可高效提供多个本地LLM模型的服务。 主要提供: 为多个本地 LLM 模型提供高性能、高效和可靠的服务 可选择通过 CUDA 或 Metal 进行 GPU 加速 可配置的 LLM 完成任务(提示、召回、停止令牌等) 通过 HTTP SSE 流式传输完成响应,使用 WebSockets 聊天 使用 JSON 模式对完成输出进行有偏差的采样 使用向量数据库(内置文件或 Qdrant 等外部数据库)进行记忆检索 接受 PDF 和 DOCX 文件并自动将其分块存储到内存中 使用静态 API 密钥或 JWT 标记确保 API 安全 简单、单一的二进制+配置文件服务器部署,可水平扩展 附加功能: 用于轻松测试和微调配置的 Web 客户端 用于本地运行模型的单二进制跨平台桌面客户端

封面图片

一种简单的数据标注工具,支持使用AI进行标注,提供了多种功能,包括图像标注、文本检测和识别、关键信息提取等。

一种简单的数据标注工具,支持使用AI进行标注,提供了多种功能,包括图像标注、文本检测和识别、关键信息提取等。 支持多种语言,包括英文和中文。该工具具有高级检测器,例如YOLOv6、YOLOv7、YOLOv8和DETR系列,可以无缝转换为行业标准格式,如COCO-JSON、VOC-XML和YOLOv5-TXT。 | #工具

封面图片

LightNet 是一个基于流行的暗网平台的深度学习框架,旨在为计算机视觉任务创建高效、高速的卷积神经网络(CNN)。该框架经过

LightNet 是一个基于流行的暗网平台的深度学习框架,旨在为计算机视觉任务创建高效、高速的卷积神经网络(CNN)。该框架经过改进和优化,可为各种深度学习挑战提供更通用、更强大的解决方案。 LightNet 融合了多项前沿技术和优化来提高 CNN 模型的性能。主要特点包括: ●多任务学习 除了暗网中的对象检测之外,LightNet 还经过扩展以支持语义分割学习,从而可以对图像内的对象进行更准确、更详细的分割。此功能支持训练 CNN 模型来识别和分类图像中的各个像素,从而实现更精确的对象检测和场景理解。 例如,语义分割可用于识别图像中的各个对象,例如汽车或行人,并用相应的对象类别标记图像中的每个像素。这对于各种应用都很有用,包括自动驾驶和医学图像分析。 ●2:4 结构化稀疏性 2:4 结构化稀疏技术是一种减少 CNN 模型参数数量同时保持其性能的新颖方法。这种方法使模型更加高效并且需要更少的计算,从而缩短训练和推理时间。 例如,使用 2:4 结构化稀疏性可以减少 CNN 模型的内存占用和计算要求,从而更容易部署在手机或嵌入式系统等资源受限的设备上。 ●通道修剪 通道剪枝是一种优化技术,可以减少 CNN 模型中的通道数量,而不会显着影响其准确性。此方法有助于减小模型大小和计算要求,从而在保持性能的同时缩短训练和推理时间。 例如,通道修剪可用于减少 CNN 模型中的通道数量,以便在低功耗处理器上进行实时处理,同时仍保持高精度。这对于在计算资源有限的设备上部署模型非常有用。 ●训练后量化(维护中) 训练后量化 (PTQ) 是一种减少训练后 CNN 模型的内存占用和计算要求的技术。此功能目前正在维护中,将在未来版本中提供。 ●量化感知训练(未来支持) 虽然 PTQ 被认为足以满足 NVIDIA GPU 上的 LightNet,但对于不支持每通道量化的 AI 处理器,我们可能会考虑根据需要添加对量化感知训练 (QAT) 的支持。 | #框架

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人