OpenAI 即将发布一款全新的开源大型语言模型

OpenAI 即将发布一款全新的开源大型语言模型 The Information 引用了一位了解该计划的人士的话说，OpenAI 正面临着来自开源AI模型的激烈竞争，例如 Meta 的 LLaMA 与它的衍生模型，OpenAI 目前正准备向公众发布一款全新的开源语言模型。报告还称，OpenAI 不太可能发布与 GPT-4 和 GPT-3.5 竞争的模型。

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。 ，可用于研究和商业用途，包含 和 个参数两个版本，均可在 HuggingFace Hub 上获取。 ，Line 一直专注于大型语言模型 HyperCLOVA，在 2021 年 5 月，Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA，然后在 11 月公布了拥有 850 亿个参数的日语专用版本。 此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出，此模型是基于 Line 自家的日语大型 Web 文本进行训练的，使用了 650GB 数据集进行训练。 研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度（perplexity score，PPL）比较数据。

OpenAIAndrej 的模型训练介绍视频讲的还是很不错的。

OpenAIAndrej 的模型训练介绍视频讲的还是很不错的。 40分钟的视频，可以说是LLM产品经理快速入门。 模型训练的四个阶段，大部分只是走了前三个，走到第四个的屈指可数，比如这个排行榜里只有 GPT4、3.5、Claude 有，这也是为什么人们普遍觉得他们更聪明更像人。 视频地址

Databricks 发布最大开源大语言模型 DBRX

Databricks 发布最大开源大语言模型 DBRX 美国AI初创公司Databricks周三公布，该公司开发的通用大语言模型 DBRX将开源。DBRX在语言理解、编程、数学和逻辑方面轻松击败了Meta的Llama 2-70B、法国MixtralAI公司的Mixtral 和 马斯克旗下xAI开发的Grok-1这类当前流行的开源模型。DBRX 在 30多种不同的最先进模型(SOTA) 基准指标测试中，均优于前述三种大模型。 DBRX 使用混合专家架构(MoE) ，拥有16个专家模型，共1320亿参数。该模型使用 3072 英伟达 H100 GPU在12万亿个token的数据集上进行训练，最大支持32k 的上下文窗口。同时，Databrick 也开源了该模型经过指令微调（instruct finetune）的版本。 ,

OpenAI Andrej 的模型训练介绍视频讲的还是很不错的。

OpenAI Andrej 的模型训练介绍视频讲的还是很不错的。 40分钟的视频，可以说是LLM产品经理快速入门。 模型训练的四个阶段，大部分只是走了前三个，走到第四个的屈指可数，比如这个排行榜里只有 GPT4、3.5、Claude 有，这也是为什么人们普遍觉得他们更聪明更像人。 视频地址