大规模结构化网络文本提取工具，可大规模提取优质文本数据，由Hugging Face Space提供，支持自动化内容筛选和再利用。

大规模结构化网络文本提取工具，可大规模提取优质文本数据，由Hugging Face Space提供，支持自动化内容筛选和再利用。 FineWeb是一个大规模结构化网络文本的提取和过滤系统，利用Hugging Face的机器学习模型从网页中提取和过滤出高质量的文本内容，可以快速处理大量网页，并根据可配置的过滤规则提取出结构化的数据。用户可以指定主题、语言等参数，FineWeb会返回与这些规则匹配的文本内容。 FineWeb利用DistilBERT模型进行主题分类，利用ToxicBERT模型过滤掉低质量和有毒内容，用户可以微调这些模型来优化提取文本的质量。 FineWeb使得大规模高质量网络文本的获取成为可能，为自然语言处理任务提供了极为宝贵的数据来源，未来工作将提升模型性能，扩充支持语言，并考虑将其作为API服务对外开放。 | #工具

：一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的

：一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的模块，允许 NLP 研究人员从无标注 Web 采集高质量文本，并提供 GPU 加速功能。

项目Bark功能：文本音频模型

项目Bark 项目功能：文本音频模型 项目简介：Bark是由Suno创建的基于transformer的文本转音频模型。Bark能够生成高度逼真的多语言语音，以及其他音频，包括音乐、背景噪音和简单的音效。该模型还可以产生笑声、叹息和哭声等非语言交流。 Bark支持各种语言，可以自动从输入文本中确定语言。当输入的文本是混合编码时，Bark会尝试使用相应语言的本地口音。目前英语的质量最好 项目地址：点击直达 排队申请：点击直达

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出 研究人员发现，GPT-4o（可能是最流行的视觉语言模型）特别容易受到这种所谓逻辑越狱的影响，攻击成功率高达 92.8%。研究人员说，GPT-4-vision-preview 更安全，成功率仅为 70%。研究人员开发了一个文本到文本的自动越狱框架，它能够首先根据有害文本提示生成流程图图像，然后将其输入视觉语言模型，从而给出有害输出。但这种方法有一个缺点，即与手工制作的流程图相比，人工智能制作的流程图触发逻辑越狱的效果较差。这表明这种越狱可能更难实现自动化。这项研究的结果反映了另一项研究，该研究发现，视觉语言模型在获得多模态输入（如图片和文字）时，容易输出有害的输出结果。该论文的作者开发了一种新的基准，称为"安全输入但不安全输出（SIUO）"基准。只有包括 GPT-4o 在内的少数机型在该基准上的得分超过了 50%（越高越好），但所有机型都还有很长的路要走。像 GPT-4o 和Google双子座这样的视觉语言模型开始成为不同人工智能公司提供的更广泛的产品。GPT-4o 目前仍限制每天输入的图像数量。不过，随着这些限制开始变得越来越宽松，人工智能公司将不得不加强这些多模态模型的安全性，以避免政府的审查，因为各国政府已经成立了人工智能安全组织。 ... PC版： 手机版：

InstructIR：按照人类指令进行高质量图像恢复

InstructIR：按照人类指令进行高质量图像恢复 你只需要使用文字描述就能修复和改善图片 比如说，如果你有一张因为雨滴而看起来模糊的照片，你可以告诉它：请去掉照片上的雨滴，但保持图片内容不变”，它就能自动帮你操作。 它能够处理包括去噪、去雨、去模糊、去雾以及（低光）图像增强等问题。 主要功能：接收图像和人类书面指令作为输入，根据这些指令对图像进行改善；支持多种图像恢复任务，包括去噪、去雨、去模糊、去雾和图像增强；实现了状态最先进的恢复效果，提供了高质量的图像输出。 工作原理： InstructIR使用一个文本编码器将人类提供的自然语言指令转换为模型可以理解的向量表示。这些指令明确指导模型关注图像的哪些退化问题，并提供改善的方向。 全能图像恢复模型：采用NAFNet作为图像恢复的核心模型架构，它是一个高效且性能卓越的图像处理网络。NAFNet能够处理多种图像退化类型，为全方位图像恢复提供支持。 指令条件块（ICB）：InstructIR引入了ICB来实现任务特定的转换，根据文本编码器输出的指令向量，ICB能够调整图像模型的处理流程，使模型能够针对具体的退化类型进行专门的恢复处理。 多任务学习与任务路由：通过利用任务路由技术，InstructIR能够在单一模型中学习并执行多种图像恢复任务。模型根据输入的人类指令自动判断需要执行的任务类型，并采取相应的恢复策略。 |||

书生·万卷1.0为书生·万卷多模态语料库的首个开源版本，包含文本数据集、图文数据集、视频数据集三部分，数据总体超过2TB。

书生·万卷1.0为书生·万卷多模态语料库的首个开源版本，包含文本数据集、图文数据集、视频数据集三部分，数据总体超过2TB。 基于大模型数据联盟构建的语料库，上海AI实验室对其中部分数据进行了细粒度清洗、去重以及价值梳理，形成了书生·万卷1.0，具备多元融合、精细处理、价值梳理、数学高效等四大特征。 在多元方面，书生·万卷1.0包含文本、图文、视频等多模态数据，范围覆盖科技、融合、媒体、教育、法律等多个领域，在训练提升模型知识内涵、逻辑推理和泛化推理化能力方面具有显着效果。 在精细化处理方面，书生·万卷1.0经历了甄别语言、正文抽取、格式标准化、基于规则及模型的数据过滤与清洗、多维度重整、数据质量评估等精细化数据处理环节，从而能够更好接地装配后续的模型训练需求。 在价值洞察方面，研究人员在书生·万卷1.0的构建过程中，着眼于内容与中文主流价值观结合的洞察，通过算法与人工评估的方式，提升了语料的纯净度。 在高效建模方面，研究人员在书生·万卷1.0统一格式，并提供了详细的参数字段说明和工具指南，综合考虑了建模性和效率，可快速评估语言、多模态等大模型训练。 目前，书生·万卷1.0已被评估书生·多态、书生·浦语的训练。通过对高质量语料的“消化模型”，书生系列模型在语义理解、知识问答、视觉理解、视觉问答等各类生成式任务表现出了优异的性能。 | #语料库