：一个513M参数的多语种语言模型，能理解和遵循101种语言的指令。

：一个513M参数的多语种语言模型，能理解和遵循101种语言的指令。 Aya数据集是迄今为止最全面的多语种指令微调数据集，包含114种语言的5.13亿个提示和补全，完全开源。它为自然语言理解、摘要和翻译任务中的未服务语言提供了基础。

Databricks 发布开源指令微调大语言模型 Dolly 2.0

Databricks 发布开源指令微调大语言模型 Dolly 2.0 Databricks 公司两周前发布了它的指令遵循（instruction-following）大语言模型 Dolly，本周三它发布了可授权商业使用的开源指令微调大语言模型。Dolly 2.0 有 120 亿参数，基于 EleutherAI pythia 模型家族，使用高质量的人类生成的指令遵循数据集进行微调。Databricks 开源了 Dolly 2.0 的整个系统，包括训练代码、数据集和模型权重，全都适合商业使用。而目前开源社区流行的 LLaMA 衍生模型使用的是非商业使用授权。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型 “使用机器生成的指令跟踪数据对大型语言模型 (LLM) 进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。 所以，我们开始尝试使用纯语言 GPT-4 生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了 LLaVA：大型语言和视觉助手。 这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。 早期实验表明，LLaVA 展示了令人印象深刻的多模型聊天能力，有时在看不见的图像 / 指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，相对分数达到了 85.1%。 当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53%，这个准确率颇高。 因此，我们在 GitHub 正式开放 GPT-4 生成的视觉指令调整数据、模型和代码库。” |||||

GPT是如何获得它的能力的？ 追踪语言模型的涌现能力 | 最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留

GPT是如何获得它的能力的？ 追踪语言模型的涌现能力 | 最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是就有一个问题：ChatGPT 是怎么变得这么强的？它的各种强大的能力到底从何而来？在这篇文章中，我们试图剖析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。 这篇文章旨在能够促进大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。

：一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的

：一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的模块，允许 NLP 研究人员从无标注 Web 采集高质量文本，并提供 GPU 加速功能。

谷歌推出最新的大型语言模型 Gemini 1.0

谷歌推出最新的大型语言模型 Gemini 1.0 谷歌发布最新的大型语言模型 Gemini，谷歌 CEO 皮查伊在 6 月份的 I/O 开发者大会上首次透露了该模型，现在正式向公众推出。 谷歌针对不同场景发布了三种不同尺寸的版本。例如 Google 的人工智能聊天机器人 Bard 现在由可扩展的 Gemini Pro 提供支持。 Gemini Nano 是轻量版本，旨在 Android 设备上本地离线运行，Pixel 8 Pro 成为首款搭载此模型的设备。 Gemini Ultra，它是谷歌迄今为止创建的最强大的 LLM，适用于高度复杂的任务。似乎主要是为数据中心和企业应用设计的。