Mozilla最近推出了一个名为Llamafile的开源项目，其目的是让大众更容易使用开源的大语言模型(LLM)。

Mozilla最近推出了一个名为Llamafile的开源项目，其目的是让大众更容易使用开源的大语言模型(LLM)。 Llamafile通过将LLM聊天机器人的全部复杂架构简化为一个可在六个操作系统上运行的单一可执行文件。它结合了和两个开源项目的功能。 Mozilla希望Llamafile可以降低开发者和普通用户使用开源LLM的门槛，让更多人参与开源AI的发展，为商业化的封闭源LLM提供一个开源的可选方案。Llamafile也代表了“本地AI”的理念，即AI运行在本地设备上，由用户完全控制，不依赖网络，可以保护隐私。这有助于开源AI抵制大公司对AI的控制。|

相关推荐

封面图片

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。 它不需要互联网连接或云服务支持。使用按钮触发录音，经过自动语音识别生成文本，然后由 TinyLlama-1.1B LLM 生成回复，并通过 eSpeak 语音合成器产生音频输出。
封面图片

| #指南本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包

| #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。 本项目适合以下学习者： 想要使用或体验 LLM，但无条件获得或使用相关 API； 希望长期、低成本、大量应用 LLM； 对开源 LLM 感兴趣，想要亲自上手开源 LLM； NLP 在学，希望进一步学习 LLM； 希望结合开源 LLM，打造领域特色的私域 LLM； 以及最广大、最普通的学生群体。
封面图片

Stability AI 发布了其新的开放大型语言模型（LLM）StableCode

Stability AI 发布了其新的开放大型语言模型（LLM）StableCode Stability AI 刚刚宣布推出了 StableCode，这是他们首个用于编码的 LLM 生成式人工智能产品。该产品旨在帮助程序员完成日常工作，同时也为准备将技能提升到新水平的新开发人员提供了一个出色的学习工具。 旨在帮助开发人员生成代码，并提供三个版本：通用用例的、和，其中长上下文窗口模型支持多达 16,000 个令牌以进行更高级的编程。 StableCode是使用来自开源BigCode项目的编码数据进行训练的，支持Python、Go、Java、JavaScript、C、Markdown和C++等语言的开发。BigCode项目被用作ServiceNow Inc.的StarCoder LLM的基础，该项目是与HuggingFace Inc.合作开发的，并于五月份推出。
封面图片

: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。

: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。 核心使用C++14编写，没有第三方依赖（BLAS、SentencePiece等），能在各种设备中无缝运行。 特点 为日常设备进行优化：libLLM经过优化，可在常见的个人电脑上平稳运行，确保大型语言模型的强大功能面向更广泛的用户。 C++代码：采用标准C++14编写，简单高效。 无外部依赖：核心功能无需第三方依赖（BLAS、SentencePiece等），所需的GEMM内核均在内部实现(avx2、avx512)。 支持CUDA：支持使用CUDA加速推理。
封面图片

：为大型语言模型(LLM)设计的结构化生成语言，旨在加速和更好地控制与LLM的交互。

：为大型语言模型(LLM)设计的结构化生成语言，旨在加速和更好地控制与LLM的交互。 特点包括：灵活的前端语言，允许轻松编程LLM应用，支持多个连锁生成调用、高级提示技术、控制流、多模式、并行处理和外部交互；具备高性能运行时，使用RadixAttention可以显著加速复杂LLM程序的执行，自动跨多个调用重复使用KV缓存，同时支持连续批处理和张量并行处理。
封面图片

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。 ，可用于研究和商业用途，包含 和 个参数两个版本，均可在 HuggingFace Hub 上获取。 ，Line 一直专注于大型语言模型 HyperCLOVA，在 2021 年 5 月，Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA，然后在 11 月公布了拥有 850 亿个参数的日语专用版本。 此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出，此模型是基于 Line 自家的日语大型 Web 文本进行训练的，使用了 650GB 数据集进行训练。 研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度（perplexity score，PPL）比较数据。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人