研究显示AI大语言模型在处理医疗编码方面有着明显局限性

研究显示AI大语言模型在处理医疗编码方面有着明显局限性这项研究从西奈山医疗系统 12 个月的常规护理中提取了 27000 多个独特的诊断和手术代码，同时排除了可识别的患者数据。通过对每个代码的描述，研究人员促使 OpenAI、Google和 Meta 的模型输出最准确的医疗代码。研究人员将生成的代码与原始代码进行了比较，并分析了错误的模式。研究人员报告说，所研究的所有大型语言模型，包括 GPT-4、GPT-3.5、Gemini-pro 和 Llama-2-70b 在再现原始医疗代码方面都显示出有限的准确性（低于 50%），这突出表明这些模型在医疗编码的实用性方面存在很大差距。GPT-4 的性能最好，ICD-9-CM（45.9%）、ICD-10-CM（33.9%）和 CPT 代码（49.8%）的精确匹配率最高。GPT-4 还生成了最高比例的错误代码，但仍然表达了正确的含义。例如，当给出 ICD-9-CM 中"结节性前列腺，无尿路梗阻"的描述时，GPT-4 生成了"结节性前列腺"的代码，展示了其对医学术语相对细微的理解。然而，即使考虑到这些技术上正确的代码，仍然存在大量令人无法接受的错误。其次是 GPT-3.5 模型，该模型的模糊倾向最大。与准确的代码相比，它错误生成的代码中准确但较为笼统的代码比例最高。在这种情况下，当提供 ICD-9-CM 描述"未指定的麻醉不良反应"时，GPT-3.5 生成的代码为"其他未在别处分类的特定不良反应"。研究报告的通讯作者、伊坎山西奈医院数据驱动与数字医学（D3M）和医学（消化内科）助理教授、医学博士、理学硕士阿里-索罗什（Ali Soroush）说："我们的研究结果突出表明，在医疗编码等敏感业务领域部署人工智能技术之前，亟需进行严格的评估和改进。虽然人工智能拥有巨大的潜力，但必须谨慎对待并不断开发，以确保其在医疗保健领域的可靠性和有效性。"研究人员说，这些模型在医疗保健行业的一个潜在应用是根据临床文本自动分配医疗代码，用于报销和研究目的。"以前的研究表明，较新的大型语言模型在处理数字任务时非常吃力。然而，这些模型从临床文本中分配医疗代码的准确程度尚未在不同的模型中得到深入研究，"共同第一作者、D3M 的生成式人工智能研究项目主任、医学博士 Eyal Klang 说。"因此，我们的目的是评估这些模型能否有效地完成将医疗代码与其相应的官方文本描述相匹配的基本任务。"研究报告的作者提出，将 LLM 与专家知识相结合可以实现医疗代码提取的自动化，从而有可能提高账单的准确性并降低医疗保健的管理成本。"这项研究揭示了人工智能在医疗保健领域的现有能力和挑战，强调了在广泛采用之前进行仔细考虑和进一步完善的必要性，"共同第一作者、西奈山伊坎大学医学教授、查尔斯-布朗夫曼个性化医学研究所所长兼 D3M 系统主管艾琳-费什伯格博士（Irene and Dr. Arthur M. Fishberg）医学博士、医学博士吉里什-纳德卡尔尼（Girish Nadkarni）说。研究人员提醒说，这项研究的人工任务可能并不能完全代表真实世界的情况，在这种情况下，LLM 的表现可能会更糟。下一步，研究团队计划开发量身定制的 LLM 工具，用于准确提取医疗数据和分配账单代码，以提高医疗运营的质量和效率。编译来源：ScitechDaily ... PC版：手机版：

在Telegram中查看

相关推荐

一个医疗大语言模型的综合评测框架，具有以下三大特点：

一个医疗大语言模型的综合评测框架，具有以下三大特点： 1.大规模综合性能评测：GenMedicalEval构建了一个覆盖16大主要科室、3个医生培养阶段、6种医学临床应用场景、基于40，000+道医学考试真题和55，000+三甲医院患者病历构建的总计100,000+例医疗评测数据。这一数据集从医学基础知识、临床应用、安全规范等层面全面评估大模型在真实医疗复杂情境中的整体性能，弥补了现有评测基准未能覆盖医学实践中众多实际挑战的不足。 2.深入细分的多维度场景评估：GenMedicalEval融合了医师的临床笔记与医学影像资料，围绕检查、诊断、治疗等关键医疗场景，构建了一系列多样化和主题丰富的生成式评估题目，为现有问答式评测模拟真实临床环境的开放式诊疗流程提供了有力补充。 3.创新性的开放式评估指标和自动化评估模型：为解决开放式生成任务缺乏有效评估指标的难题，GenMedicalEval采用先进的结构化抽取和术语对齐技术，构建了一套创新的生成式评估指标体系，这一体系能够精确衡量生成答案的医学知识准确性。进一步地，基于自建知识库训练了与人工评价相关性较高的医疗自动评估模型，提供多维度医疗评分和评价理由。这一模型的特点是无数据泄露和自主可控，相较于GPT-4等其他模型，具有独特优势。 | #框架

WiNGPT：基于GPT的医疗垂直领域大模型，旨在将专业的医学知识、医疗信息、数据融会贯通，为医疗行业提供智能化的医疗问答、诊断

WiNGPT：基于GPT的医疗垂直领域大模型，旨在将专业的医学知识、医疗信息、数据融会贯通，为医疗行业提供智能化的医疗问答、诊断支持和医学知识等信息服务，提高诊疗效率和医疗服务质量。核心功能：医学知识问答：可以回答关于医学、健康、疾病等方面的问题，包括但不限于症状、治疗、药物、预防、检查等。自然语言理解：理解医学术语、病历等医疗文本信息，提供关键信息抽取和归类多轮对话：可扮演各种医疗专业角色如医生与用户进行对话，根据上下文提供更加准确的答案。多任务支持：支持32项医疗任务，八大医疗场景18个子场景。模型架构：基于Transformer的70亿参数规模大语言模型, 采用RoPE相对位置编码、SwiGLU激活函数、RMSNorm，训练采用Qwen-7b1作为基础预训练模型。主要特点：高准确度：基于大规模医疗语料库训练，具有较高的准确率和较低的误诊可能性。场景导向：针对不同的医疗场景和真实需求进行专门优化和定制，更好的服务应用落地。迭代优化：持续搜集和学习最新的医学研究，不断提高模型性能和系统功能。 | 下载地址： |

新研究：大语言模型“涌现”能力不令人惊讶也不难预测

新研究：大语言模型“涌现”能力不令人惊讶也不难预测在这些任务中，大多数情况下，随着模型规模的增大，性能呈现出可预测的平稳提升即模型越大，性能越好。但在其他任务中，模型性能的提升却不是那么稳定，一段时间内性能几乎为零，然后突然出现显著提升，其他研究也发现了类似的性能飞跃现象。研究人员将这种现象描述为“突破性”行为，而其他人则将其比作物理学中的相变，如液态水转变为冰。2022年8月份发表的一篇论文中指出，这些现象不仅出乎意料，而且难以预测，它们对于人工智能的安全性、潜力和风险的讨论提供了更多的视角。研究人员用“涌现”(emergent)一词来描述这种仅在系统达到一定复杂程度时才出现的行为。然而，真相可能并不那么简单。斯坦福大学的三位研究人员在一篇新论文中认为，这种性能的突然提升仅仅是反映了我们衡量大语言模型性能的方法。他们认为，这种能力既不是不可预测的，也不是突然出现的。“这种变化比大家想象的要容易预测得多，”斯坦福大学计算机科学家、论文的资深作者萨恩米·科耶乔(Sanmi Koyejo)表示，“所谓的涌现更多地与我们选择的衡量模型工作方式有关。”研究人员之所以现在才开始发现和研究这种行为，是因为这些模型已变得足够大。大语言模型通过分析大量文本数据集包括书籍、网络搜索结果和维基百科等，来寻找经常共现的单词间的联系。模型的规模按参数数量衡量，参数越多，模型能发现的联系就越多。GPT-2拥有15亿个参数，而支持ChatGPT的GPT-3.5则使用了3500亿个参数。据报道，2023年3月首次亮相的GPT-4使用了1.75万亿个参数，现在它也成了微软人工智能助理Microsoft Copilot的基础模型。这种规模的快速增长带来了性能和效率的显著提升，没有人会质疑规模足够大的大语言模型能完成小型模型无法完成的任务，包括那些它们未经训练的任务。斯坦福大学的三位研究人员将涌现看作是一种“幻觉”，他们认为，随着规模的扩大，大语言模型自然而然应该变得更加高效；较大模型增加的复杂性使其在处理更难和更多样化的问题时表现得更为出色。但这三位研究人员认为，这种改进是否呈现为平稳可预测的提升，或是参差不齐的突然飞跃，主要取决于所选择的衡量标准，甚至可能是由于测试样本的不足，而非模型内部运作机制本身。例如，三位数加法就是一个典型例子。在2022年的BIG-bench研究中提出，研究人员报告称，在参数较少的情况下，GPT-3和另一大语言模型LAMDA均无法准确解决加法问题。然而，当GPT-3的参数增至130亿时，其性能如同开关被打开一样突然改变。GPT-3突然间就能够正确完成加法运算，当LAMDA的参数增至680亿时也是如此。这表明，完成加法运算的能力似乎在某个参数阈值时突然出现。但斯坦福大学的研究人员指出，之前对大语言模型的评价标准仅仅基于准确性：模型要么能做到，要么做不到。因此，即便模型最初能够正确预测出大部分数字，也被判定为失败。这种评价方式显得有些不合理。如果任务是计算100加278，那么结果为376显然比-9.34要准确得多。因此，科耶乔和他的研究合作者采用了一种奖励部分正确答案的衡量标准来测试同一任务。科耶乔表示：“我们可以问：模型预测第一个数字的准确度有多高？第二个、第三个数字呢？”科耶乔认为这项新研究的灵感来源于他的研究生赖兰·谢弗(RylanSchaeffer)，他称谢弗注意到大语言模型的表现随着评估方法的不同而变化。与斯坦福大学的同学白兰度·米兰达(Brando Miranda)共同研究后，他们采用了新的评估指标，发现随着模型参数的增加，大语言模型在解决加法问题时预测的数字序列的准确度逐渐提高。这说明，模型解决加法问题的能力并非突然出现；换言之，这种能力的涌现并非不可预测的突然跳变，而是一个可预测的、稳步的变化过程。他们发现，当采用不同的度量标准衡量性能时，“涌现”现象就消失了。尽管如此，其他科学家认为，这项工作并未完全排除“涌现”概念的存在。例如，美国东北大学(Northeastern University)计算机科学家李天石指出，这三位研究人员的论文并未明确解释在哪些度量标准或情况下，大语言模型的性能会显示出突然的提升。她说：“因此，从这个意义上说，这些能力仍然是不可预测的。”现在在OpenAI工作的计算机科学家杰森·魏(Jason Wei)曾编制过一份关于模型“涌现”能力的清单，也是BIG-bench论文的作者之一，他认为，早期关于“涌现”能力的说法是合理的，因为对于算术这样的能力来说，正确的答案才是最重要的。人工智能初创公司Anthropic的研究科学家亚历克斯·塔姆金(Alex Tamkin)表示：“这种探讨绝对很有意思。”他认为，新论文巧妙地分解了多步骤任务，以识别各个组成部分的贡献。塔姆金说，“但这并不是全部故事。我们不能说所有这些跳变都是幻觉。我仍然认为，即使在进一步预测或使用连续指标的情况下，文献显示性能提升仍有不连续性。当你增加模型的规模时，仍然可以看到它以跳变的方式变得更好。”即使如今对大语言模型中的“涌现”能力的理解可能因采用不同的衡量工具而有所改变，但对于未来更大、更复杂的大语言模型来说，情况可能会有所不同。莱斯大学的计算机科学家胡侠表示：“当我们把大语言模型训练到下一个层次时，它们不可避免地会从其他任务和模型中借鉴知识。”这种对“涌现”能力的新理解不仅是研究人员需要考虑的一个抽象问题。对塔姆金而言，这直接关系到如何继续预测大语言模型的性能。“这些技术已经如此广泛和普及，”他说。“我希望社区将此作为一个起点，继续强调为这些现象建立一门预测科学的重要性。我们怎样才能不对下一代模型的出现感到惊讶呢？”（辰辰） ... PC版：手机版：

支付宝发布多模态医疗大模型

支付宝发布多模态医疗大模型 7 月 5 日，在 2024 世界人工智能大会，支付宝多模态医疗大模型正式亮相，成为国内首批多模态医疗大模型之一。基于蚂蚁百灵的多模态能力，该模型可实现直接理解并训练音频、视频、图、文等多模态数据。测试期间，对诊疗报告、医学药品、毛发状况等识别准确率达 90% 以上，中英文医疗考试、基准测试达到或超过 GPT4 水准。会上，支付宝还推出了与大模型配套的可信一体机与云解决方案，并与全国 20 家头部三甲医院、医疗管理机构，联合发起 AI 医疗共建计划，探索大模型创新应用。

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型 “使用机器生成的指令跟踪数据对大型语言模型 (LLM) 进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。所以，我们开始尝试使用纯语言 GPT-4 生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了 LLaVA：大型语言和视觉助手。这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。早期实验表明，LLaVA 展示了令人印象深刻的多模型聊天能力，有时在看不见的图像 / 指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，相对分数达到了 85.1%。当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53%，这个准确率颇高。因此，我们在 GitHub 正式开放 GPT-4 生成的视觉指令调整数据、模型和代码库。” |||||

7 月 5 日，在 2024 世界人工智能大会，支付宝多模态医疗大模型正式亮相，成为国内首批多模态医疗大模型之一。基于蚂蚁百灵的

7 月 5 日，在 2024 世界人工智能大会，支付宝多模态医疗大模型正式亮相，成为国内首批多模态医疗大模型之一。基于蚂蚁百灵的多模态能力，该模型可实现直接理解并训练音频、视频、图、文等多模态数据。测试期间，对诊疗报告、医学药品、毛发状况等识别准确率达 90% 以上，中英文医疗考试、基准测试达到或超过 GPT4 水准。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人