MPT-7B 开源商业可用LLM的新标准

MPT-7B 开源商业可用LLM的新标准 - 包括base和三个微调模型，instruct，chat，写作 - 其中写作模型支持65k的上下文！是GPT4的两倍。（甚至支持到 84k 。） - 包含了开源代码训练 - 在基准测试中达到了 LLaMA-7B 的水平。 官方介绍：

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU 英伟达的 H100 AI 芯片使其成为价值数万亿美元的公司，其价值可能超过 Alphabet 和亚马逊，而竞争对手一直在奋力追赶。但也许英伟达即将通过新的 Blackwell B200 GPU 和 GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的 GTC 大会上表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和单个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供30倍的性能，同时还可能大大提高效率。英伟达表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的7倍，而英伟达称其训练速度是 H100 的4倍。

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。 ，可用于研究和商业用途，包含 和 个参数两个版本，均可在 HuggingFace Hub 上获取。 ，Line 一直专注于大型语言模型 HyperCLOVA，在 2021 年 5 月，Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA，然后在 11 月公布了拥有 850 亿个参数的日语专用版本。 此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出，此模型是基于 Line 自家的日语大型 Web 文本进行训练的，使用了 650GB 数据集进行训练。 研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度（perplexity score，PPL）比较数据。

「快意」大模型（） 是由快手AI团队从零到一独立自主研发的一系列大规模语言模型（Large Language Model，LLM

「快意」大模型（） 是由快手AI团队从零到一独立自主研发的一系列大规模语言模型（Large Language Model，LLM），当前包含了多种参数规模的模型，并覆盖了预训练模型（KwaiYii-Base)、对话模型（KwaiYii-Chat)。这里面我们介绍13B规模的系列模型KwaiYii-13B，其主要特点包括： KwaiYii-13B-Base预训练模型具备优异的通用技术底座能力，在绝大部分权威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。例如，KwaiYii-13B-Base预训练模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前处于同等模型规模的领先水平。 KwaiYii-13B-Chat对话模型具备出色的语言理解和生成能力，支持内容创作、信息咨询、数学逻辑、代码编写、多轮对话等广泛任务，人工评估结果表明KwaiYii-13B-Chat超过主流的开源模型，并在内容创作、信息咨询和数学解题上接近ChatGPT(3.5)同等水平。

英伟达联合推出 StarCoder2 模型：生成、补全、调试代码一气呵成

英伟达联合推出 StarCoder2 模型：生成、补全、调试代码一气呵成 英伟达联合 Hugging Face 和 ServiceNow，发布了名为的 LLMs 系列模型，希望成为代码生成领域的新标准，具备性能、透明度和成本效益等诸多优势。 该系列模型包括一个由 ServiceNow 训练的 30 亿参数模型、一个由 Hugging Face 训练的 70 亿参数模型和一个由英伟达训练的 150 亿参数模型。这是通过使用名为 Stack v2 的新代码数据集实现的，该数据集比 Stack v1 大七倍；新的训练技术也意味着该模型可以更好地理解 COBOL 等低资源编程语言、数学和程序源代码讨论。 StarCoder2 经过 619 门编程语言培训，可以执行源代码生成、工作流生成、文本摘要等专业任务。英伟达表示，开发人员可以利用它进行代码补全、高级代码总结、代码片段检索等，从而提高工作效率。 StarCoder2 采用 BigCode Open RAIL-M 许可证，允许免版税访问和使用。 频道：@kejiqu 群组：@kejiquchat

英伟达展示了可以生成音乐和音频的模型

英伟达展示了可以生成音乐和音频的模型 英伟达11月25日展示了一款用于生成音乐和音频的人工智能模型 Fugatto。该模型可以根据文本提示修改声音、产生新的声音。不过英伟达目前没有公开发布 Fugatto 技术。新模型面向音乐、电影和游戏制作商。可以改变录音的口音和情绪，将钢琴演奏转换成人声歌唱，具体来讲，Fugatto 可以分离歌曲中的人声，添加乐器，将钢琴换成歌剧歌手来改变旋律。英伟达表示，新模型可以创造出“从未听过的声音”，比如可以使小号吠叫或者萨克斯发出猫叫声。英伟达表示目前仍在讨论是否以及如何将其公开发布。 澎湃新闻、Fugatto-电报频道- #娟姐新闻:@juanjienews