大规模结构化网络文本提取工具，可大规模提取优质文本数据，由Hugging Face Space提供，支持自动化内容筛选和再利用。

大规模结构化网络文本提取工具，可大规模提取优质文本数据，由HuggingFaceSpace提供，支持自动化内容筛选和再利用。FineWeb是一个大规模结构化网络文本的提取和过滤系统，利用HuggingFace的机器学习模型从网页中提取和过滤出高质量的文本内容，可以快速处理大量网页，并根据可配置的过滤规则提取出结构化的数据。用户可以指定主题、语言等参数，FineWeb会返回与这些规则匹配的文本内容。FineWeb利用DistilBERT模型进行主题分类，利用ToxicBERT模型过滤掉低质量和有毒内容，用户可以微调这些模型来优化提取文本的质量。FineWeb使得大规模高质量网络文本的获取成为可能，为自然语言处理任务提供了极为宝贵的数据来源，未来工作将提升模型性能，扩充支持语言，并考虑将其作为API服务对外开放。#工具

Google研究团队宣布AudioPaLM：一个能说能听的大型语言模型

Google研究团队宣布AudioPaLM：一个能说能听的大型语言模型除了文本生成外，还开发了像CLIP（对比性语言图像预训练）这样的模型，用于图像生成，使得可以根据图像的内容生成文本。为了在音频生成和理解方面取得进展，Google的研究团队推出了AudioPaLM，这是一个大型语言模型，可以处理语音理解和生成任务。AudioPaLM结合了两个现有模型的优势，即PaLM-2模型和AudioLM模型，以产生一个统一的多模态架构，能够处理和生成文本和语音。这使得AudioPaLM可以处理各种应用，从语音识别到语音转文字。虽然AudioLM在保持诸如说话者身份和语气信息方面表现出色，而以文本为基础的语言模型PaLM-2则专注于特定于文本的语言知识。通过结合这两个模型，AudioPaLM利用了PaLM-2的语言专业知识和AudioLM的附加语言信息保存能力，从而更全面地理解和生成文本和语音。AudioPaLM使用一个联合词汇表，可以使用有限数量的离散标记表示语音和文本。将这个联合词汇表与标记化的任务描述相结合，可以在各种声音和基于文本的任务上训练单个解码器模型。传统上需要单独模型来处理的语音识别、文本转语音合成和语音到语音翻译等任务现在可以统一到一个架构和训练过程中。经过评估，AudioPaLM在语音翻译方面的表现明显优于现有系统。它展示了对语言组合执行零样本语音到文本翻译的能力，也就是说，它可以准确地将从未遇到过的语言的语音翻译成文本，为更广泛的语言支持开辟了可能性。AudioPaLM还可以基于简短的口语提示在语言之间进行声音转换，并能捕捉并重现不同语言中的独特声音，实现语音转换和适应。团队提到的AudioPaLM主要贡献包括：AudioPaLM利用了文本预训练模型PaLM和PaLM-2的功能。在自动语音翻译和语音到语音翻译基准测试中取得了最先进的结果，并在自动语音识别基准测试中具有竞争力的表现。该模型通过语音转换来进行声音转换，超越了现有方法在语音质量和声音保留方面的表现。AudioPaLM通过使用未见过的语言组合进行自动语音翻译，展示了零样本功能。总而言之，AudioPaLM是一个统一的大型语言模型，通过利用基于文本的语言模型的能力和整合音频提示技术，可以同时处理语音和文本，成为LLM列表中强有力的补充。AudioPaLMHuggingFace页面：https://huggingface.co/papers/2306.12925...PC版：https://www.cnbeta.com.tw/articles/soft/1367209.htm手机版：https://m.cnbeta.com.tw/view/1367209.htm

InstructIR：按照人类指令进行高质量图像恢复

InstructIR：按照人类指令进行高质量图像恢复你只需要使用文字描述就能修复和改善图片比如说，如果你有一张因为雨滴而看起来模糊的照片，你可以告诉它：请去掉照片上的雨滴，但保持图片内容不变”，它就能自动帮你操作。它能够处理包括去噪、去雨、去模糊、去雾以及（低光）图像增强等问题。主要功能：接收图像和人类书面指令作为输入，根据这些指令对图像进行改善；支持多种图像恢复任务，包括去噪、去雨、去模糊、去雾和图像增强；实现了状态最先进的恢复效果，提供了高质量的图像输出。工作原理：InstructIR使用一个文本编码器将人类提供的自然语言指令转换为模型可以理解的向量表示。这些指令明确指导模型关注图像的哪些退化问题，并提供改善的方向。全能图像恢复模型：采用NAFNet作为图像恢复的核心模型架构，它是一个高效且性能卓越的图像处理网络。NAFNet能够处理多种图像退化类型，为全方位图像恢复提供支持。指令条件块（ICB）：InstructIR引入了ICB来实现任务特定的转换，根据文本编码器输出的指令向量，ICB能够调整图像模型的处理流程，使模型能够针对具体的退化类型进行专门的恢复处理。多任务学习与任务路由：通过利用任务路由技术，InstructIR能够在单一模型中学习并执行多种图像恢复任务。模型根据输入的人类指令自动判断需要执行的任务类型，并采取相应的恢复策略。

WiNGPT：基于GPT的医疗垂直领域大模型，旨在将专业的医学知识、医疗信息、数据融会贯通，为医疗行业提供智能化的医疗问答、诊断

WiNGPT：基于GPT的医疗垂直领域大模型，旨在将专业的医学知识、医疗信息、数据融会贯通，为医疗行业提供智能化的医疗问答、诊断支持和医学知识等信息服务，提高诊疗效率和医疗服务质量。核心功能：医学知识问答：可以回答关于医学、健康、疾病等方面的问题，包括但不限于症状、治疗、药物、预防、检查等。自然语言理解：理解医学术语、病历等医疗文本信息，提供关键信息抽取和归类多轮对话：可扮演各种医疗专业角色如医生与用户进行对话，根据上下文提供更加准确的答案。多任务支持：支持32项医疗任务，八大医疗场景18个子场景。模型架构：基于Transformer的70亿参数规模大语言模型,采用RoPE相对位置编码、SwiGLU激活函数、RMSNorm，训练采用Qwen-7b1作为基础预训练模型。主要特点：高准确度：基于大规模医疗语料库训练，具有较高的准确率和较低的误诊可能性。场景导向：针对不同的医疗场景和真实需求进行专门优化和定制，更好的服务应用落地。迭代优化：持续搜集和学习最新的医学研究，不断提高模型性能和系统功能。下载地址：

书生·万卷1.0为书生·万卷多模态语料库的首个开源版本，包含文本数据集、图文数据集、视频数据集三部分，数据总体超过2TB。

书生·万卷1.0为书生·万卷多模态语料库的首个开源版本，包含文本数据集、图文数据集、视频数据集三部分，数据总体超过2TB。基于大模型数据联盟构建的语料库，上海AI实验室对其中部分数据进行了细粒度清洗、去重以及价值梳理，形成了书生·万卷1.0，具备多元融合、精细处理、价值梳理、数学高效等四大特征。在多元方面，书生·万卷1.0包含文本、图文、视频等多模态数据，范围覆盖科技、融合、媒体、教育、法律等多个领域，在训练提升模型知识内涵、逻辑推理和泛化推理化能力方面具有显着效果。在精细化处理方面，书生·万卷1.0经历了甄别语言、正文抽取、格式标准化、基于规则及模型的数据过滤与清洗、多维度重整、数据质量评估等精细化数据处理环节，从而能够更好接地装配后续的模型训练需求。在价值洞察方面，研究人员在书生·万卷1.0的构建过程中，着眼于内容与中文主流价值观结合的洞察，通过算法与人工评估的方式，提升了语料的纯净度。在高效建模方面，研究人员在书生·万卷1.0统一格式，并提供了详细的参数字段说明和工具指南，综合考虑了建模性和效率，可快速评估语言、多模态等大模型训练。目前，书生·万卷1.0已被评估书生·多态、书生·浦语的训练。通过对高质量语料的“消化模型”，书生系列模型在语义理解、知识问答、视觉理解、视觉问答等各类生成式任务表现出了优异的性能。#语料库

2日获悉，在复旦大学自然语言处理实验室(FudanNLP)师生的努力下，基于多模态大模型“复旦・眸思”(MouSi)为视障者量身

2日获悉，在复旦大学自然语言处理实验室(FudanNLP)师生的努力下，基于多模态大模型“复旦・眸思”(MouSi)为视障者量身打造的“听见世界”APP上线，将成为视障人士的生活助手与智能管家。2023年上半年，复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型，被称为中国版的GPT，仅用半年时间多模态模型“眸思”问世。据介绍，“眸思”和基于文本的MOSS不同，它能够理解并识别图片内容，致力于成为视障者的一双“眸”。（中新网）