开源的基础模型能力评测框架，提供了一套轻量级、易于使用的评测体系，支持主流大模型的性能评估。

开源的基础模型能力评测框架，提供了一套轻量级、易于使用的评测体系，支持主流大模型的性能评估。 其主要特点如下： 轻量易用的评估框架：无缝设计，界面直观，依赖性极小，部署轻松，可扩展性极佳，适应多样化评估场景。 评估方式灵活多样：支持统一提示模板，评估指标丰富，可个性化定制，满足特定需求。 高效、快速的推理部署：支持torch、vLLM等多种模型部署策略，实现多实例部署，实现快速评估流程。 公开透明的开源排行榜：维护开放、可追溯、可复制的评估排行榜，由社区更新驱动，以确保透明度和可信度。 官方权威评测数据：采用广泛认可的官方评测集，确保评测的公平性和标准化，确保结果具有可比性和可重复性。 全面而广泛的模型支持：为广泛的模型提供支持，包括来自 Huggingface 开源存储库的模型和个人训练的模型，确保全面的覆盖范围。 | #框架

：开源的视觉-语言(VL)模型，旨在实现真实世界的视觉语言理解。

：开源的视觉-语言(VL)模型，旨在实现真实世界的视觉语言理解。 它具有广泛的多模态理解能力，能够处理逻辑图表、网页、公式识别、科学文献、自然图像和复杂场景中的具体智能等。 DeepSeek-VL提供了多个模型版本，包括不同规模和功能的模型，以满足不同的研究和商业应用需求。

【清华大学副教授眭亚楠：大语言模型与具身智能具有强互补性】

【清华大学副教授眭亚楠：大语言模型与具身智能具有强互补性】 10 月 26 日，在 2023REAL 科技大会上，清华大学副教授眭亚楠表示，大语言模型与具身智能是强互补性的，大语言模型已经很大程度解决了感知问题，可以提升具身智能的研究和转化前沿。机器领域的感知来自于视觉，由于视觉的快速提升，使得具身智能和机器人的能力也在快速提升。接下来几年，随着语言能力，机器人的控制、规划能力也在快速提升，大语言模型和多模态能力，更会让具身智能进一步提升。 快讯/广告 联系 @xingkong888885

：开源大模型的统一后端接口，支持多种开源大模型

：开源大模型的统一后端接口，支持多种开源大模型 该项目为开源大模型的推理实现统一的接口接口，与OpenAI响应保持一致，具有以下特性： 以OpenAI ChatGPT API这样的方式调用开源分布式大模型 支持流式响应，实现打印机效果 实现文本嵌入模型，为文档知识问答提供支持 支持大规模语言模型开发工具langchain 的广泛功能 要简单的修改环境变量即可将开源模型作为chatgpt的替代模型，为大众应用提供反馈支持 支持加载经过自行训练的lora模型

用于评估大型语言模型(LLM) Agent在多步多模态任务中的工具使能力的基准数据集，包含超过 4000 个多步多模态任务，这些

用于评估大型语言模型(LLM) Agent在多步多模态任务中的工具使能力的基准数据集，包含超过 4000 个多步多模态任务，这些任务涉及 33 种工具，包括 13 种多模态模型、9 个公共 API 和 11 个图像处理模块 | #数据集

：开源代码语言模型，包含了英语和中文两种语言版本的代码生成模型。

：开源代码语言模型，包含了英语和中文两种语言版本的代码生成模型。 模型经过大规模训练，训练数据中87%为代码数据，13%为自然语言数据。模型大小提供1B、5.7B、6.7B、33B等多个版本，满足不同需求。 模型在人工评估、多语言程序、MBPP、DS-1000等多个编程基准上均表现出色，在项目级代码补全、代码插入等任务有很好的效果。