YY 在 GitHub 开源的一款高性能、轻量级神经网络部署 #框架 ：。

YY 在 GitHub 开源的一款高性能、轻量级神经网络部署 #框架 ：。 可将真实人脸快速转换为迪士尼、3D 游戏、油画画像风格的人脸外形，并提供了适配多场景的目标检测、物品分割、对象识别等功能。 已为 Hago、VOO、VFlyCloud、VFly、 马克水印相机等 App 提供 20 余种 AI 能力的支持，覆盖直播、短视频、视频编辑等泛娱乐场景和工程场景

一个医疗大语言模型的综合评测框架，具有以下三大特点：

一个医疗大语言模型的综合评测框架，具有以下三大特点： 1.大规模综合性能评测：GenMedicalEval构建了一个覆盖16大主要科室、3个医生培养阶段、6种医学临床应用场景、基于40，000+道医学考试真题和55，000+三甲医院患者病历构建的总计100,000+例医疗评测数据。这一数据集从医学基础知识、临床应用、安全规范等层面全面评估大模型在真实医疗复杂情境中的整体性能，弥补了现有评测基准未能覆盖医学实践中众多实际挑战的不足。 2.深入细分的多维度场景评估：GenMedicalEval融合了医师的临床笔记与医学影像资料，围绕检查、诊断、治疗等关键医疗场景，构建了一系列多样化和主题丰富的生成式评估题目，为现有问答式评测模拟真实临床环境的开放式诊疗流程提供了有力补充。 3.创新性的开放式评估指标和自动化评估模型：为解决开放式生成任务缺乏有效评估指标的难题，GenMedicalEval采用先进的结构化抽取和术语对齐技术，构建了一套创新的生成式评估指标体系，这一体系能够精确衡量生成答案的医学知识准确性。进一步地，基于自建知识库训练了与人工评价相关性较高的医疗自动评估模型，提供多维度医疗评分和评价理由。这一模型的特点是无数据泄露和自主可控，相较于GPT-4等其他模型，具有独特优势。 | #框架

Scale AI发布首个大语言模型排行榜 对特定领域的AI模型性能进行排名

Scale AI发布首个大语言模型排行榜 对特定领域的AI模型性能进行排名 SEAL 排行榜显示，OpenAI 的 GPT 系列 LLM 在其用于人工智能模型排名的四个初始领域中的三个领域排名第一，Anthropic PBC 广受欢迎的 Claude 3 Opus 在第四个领域排名第一。Google LLC 的 Gemini 模型也表现出色，在其中几个领域与 GPT 模型并列第一。Scale AI表示，它之所以创建SEAL排行榜，是因为现在有数以百计的LLM可供公司使用，而人工智能的表现却缺乏透明度。这些排行榜由 Scale AI 的安全、评估和对齐实验室（Safety, Evaluations, and Alignment Lab）开发，并声称通过拒绝透露其用于评估 LLM 的提示的性质来保持中立性和完整性。该公司指出，虽然也有其他对LLM进行排名的努力，如MLCommons的基准和斯坦福HAI的透明度指数，但其在人工智能训练数据方面的专业知识意味着它在克服人工智能研究人员所面临的一些挑战方面具有独特的优势。例如，Scale AI指出，MLCommon的基准是公开的，因此公司可以对其模型进行专门训练，以准确响应他们使用的提示。SEAL 开发了私有的评估数据集，以保持其排名的完整性，据说其测试是由经过验证的领域专家创建的。此外，所使用的提示和给出的排名都经过仔细评估，以确保其可信度，同时通过公布所使用评估方法的明确解释来确保透明度。Scale AI 表示，在 Scale Coding 领域，每个模型都要在随机选择的提示上与评估中的其他模型进行至少 50 次比较，以确保结果的准确性。编码评估试图评估每个模型生成计算机代码的能力，排行榜显示，OpenAI 的 GPT-4 Turbo Preview 和 GPT-4o 模型与Google的 Gemini 1.5 Pro（I/O 后）并列第一。之所以将它们并列第一，是因为 Scale AI 只声称其评估分数的置信度为 95%，而且前三名之间的差距很小。尽管如此，GPT-4 Turbo Preview 似乎略胜一筹，获得了 1155 分，GPT-4o 以 1144 分位居第二，Gemini 1.5 Pro（Post I/O）获得了 1112 分。在多语言领域，GPT-4o 和 Gemini 1.5 Pro（Post I/O）并列第一，得分分别为 1139 分和 1129 分，GPT-4 Turbo 和 Gemini Pro 1.5（Pre I/O）紧随其后，并列第三。GPT-4o 在"指令跟踪"领域也名列前茅，获得 88.57 分，GPT-4 Turbo Preview 以 87.64 分名列第二。结果表明，Google在这一领域仍需努力，因为 OpenAI 最接近的竞争对手是 Meta Platforms 公司的开源 Llama 3 70b Instruct（得分 85.55）和 Mistral 公司的 Mistral Large Latest LLM（得分 85.34）。最后，Scale AI 测试了 LLM 的数学能力。事实证明，Anthropic 的 Claude 3 Opus 以 95.19 的高分拔得头筹，无可争议地获得了第一名，超过了 95.10 的 GPT-4 Turbo Preview 和 94.85 的 GPT-4o。这些比较很有意思，但似乎还不能说明全部问题，因为有很多备受瞩目的龙8国际娱乐城似乎没有被纳入评估范围。例如，AI21实验室公司的Jurassic和Jamba以及Cohere公司的Aya和Command LLM在所有四项评估中都明显缺席，埃隆-马斯克（Elon Musk）的生成式人工智能初创公司xAI Corp.建立的Grok模型也是如此。好消息是，Scale AI 可能会解决LLM排行榜不完整的问题。该公司表示，它打算每年多次更新排行榜，以确保其与时俱进。它将在"可用时"添加新的前沿模型。此外，它还计划在排行榜上添加新的领域，力争成为最值得信赖的大模型第三方评估机构。 ... PC版： 手机版：

Google发布Gemma 2轻量级开放模型 以极小的成本提供强大的性能

Google发布Gemma 2轻量级开放模型 以极小的成本提供强大的性能 Gemma 2 有两种规格：90 亿 (9B) 和 270 亿 (27B) 个参数。新一代模型的推理效率更高，性能也优于第一个 Gemma 模型。Google称，27B 模型的性能可与两倍于其规模的模型相媲美，而 9B 模型的性能则优于 Llama 3 8B 和其他类似规模的开源模型。未来几个月，Google计划发布参数为 2.6B 的 Gemma 2 型号，它将更适合智能手机的人工智能应用场景。新的 Gemma 2 模型可以托管在单个英伟达 A100 80GB Tensor Core GPU、英伟达 H100 Tensor Core GPU 或单个 TPU 主机上，从而降低人工智能基础架构成本。甚至可以通过Hugging Face Transformers在英伟达 RTX 或 GeForce RTX 桌面 GPU 上运行 Gemma 2。从下个月开始，Google云客户可以在Vertex AI上部署和管理 Gemma 2。开发人员现在可以在 Google AI Studio 上试用新的 Gemma 2 模型。在 Gemma 2 的训练过程中，Google对训练前的数据进行了过滤，并根据一套全面的安全指标进行了测试和评估，以识别和减少潜在的偏差和风险。Google通过 Kaggle 或 Colab 免费层免费提供 Gemma 2。学术研究人员可申请Gemma 2 学术研究计划，以获得 Google 云积分。Gemma 2 集高性能、高效率和可访问性于一身，改变了开源人工智能领域的游戏规则，致力于开放访问和负责任的人工智能开发，为人工智能的未来树立了一个积极的榜样。 ... PC版： 手机版：

清华大学教授AMiner创始人唐杰的团队做了一个全新的Agent能力榜单，评估基础模型智能体。

清华大学教授AMiner创始人唐杰的团队做了一个全新的Agent能力榜单，评估基础模型智能体。 这是一个多维演进基准测试，包括8个不同环境，用于评估大型语言模型（LLMs）在多回合开放式生成环境中的推理和决策能力，通过对25个语言模型的广泛测试，发现顶级商业语言模型在复杂环境中表现出色，且与开源模型之间存在显著差距。AgentBench的数据集，环境，和集成评估包已在 github上发布。 8种不同的环境任务，即操作系统（OS）、数据库（DB）、知识图谱（KG）、卡牌对战（DCG）、情景猜谜（LTP）、家居（Alfworld）、网络购物（WebShop）、 和网页浏览（Mind2Web）。 使用 AgentBench 对 25 个不同的语言模型进行了全面评估，揭示了领先的商业语言模型与开源模型之间的显着性能差距。对语言模型作为智能体的更广泛讨论的贡献，表明需要进行严格、系统的评估，并提供强大的开源工具来促进此类评估。 ||

-轻量级LLM交互框架：简化生产代码中语言模型的应用，提供结构化Pydantic模型与非结构化文本输出的互操作性，支持LiteL

-轻量级LLM交互框架：简化生产代码中语言模型的应用，提供结构化Pydantic模型与非结构化文本输出的互操作性，支持LiteLLM等语言模型，定义提示为Python函数，支持异步批处理和快速迭代，适用于大规模生成任务 | #框架