【阿里巴巴达摩院基础视觉团队总监：将于月底逐步开放文字生成图像产品“通义万相”】

【阿里巴巴达摩院基础视觉团队总监：将于月底逐步开放文字生成图像产品“通义万相”】4月12日消息，在2023香港Web3嘉年华会场上的“Web3技术新风向：人工智慧生成内容(AIGC)与隐私运算技术”活动中，阿里巴巴达摩院基础视觉团队总监赵德丽发表《阿里巴巴Composer，释放AIGC的创造力》主旨演讲称，未来AI行业的趋势包括垂直行业AI算法的发展会继续深耕，开源平台的出现（像达摩院推出的模型ModelScope）、底层算法的统一等。我们的路线图在Text-to-Image方面先后经历过FoundationModels（Composer1.0）、CustomizedGeneration与ControllableGeneration（Composer2.0）三个阶段，今年已发布ControlNet、Composer2.0以及T2I-Adapter。基于阿里云我们构建了一个“通义万相”产品，将于月底开放给大家。

阿里巴巴达摩院医疗AI团队正在用AI诊癌

阿里巴巴达摩院医疗AI团队正在用AI诊癌3个月之后，阿里巴巴“医疗AI多癌早筛公益项目”在浙江丽水启动，并在丽水市中心医院和景宁县人民医院完成了部署。从胰腺癌和骨质疏松两个病种的筛查入手，后续还将涵盖肝癌、食管癌、胃癌、结直肠癌等占据新发癌量38.1%的病灶发现，以及脂肪肝及肺结节等总计13个病种，借助最新的医疗AI技术，丽水的百姓们在日常检查中就可以顺便进行多癌、多病症的早筛。吕乐是达摩院医疗AI团队负责人，他希望这项研究在丽水能够帮助到更多医生，治愈更多病人。我自己亲戚也有癌症患者，也用了我们AI工具来判断是否肿瘤可切除。丽水来了PANDA丽水市中心医院放射科的周医生，最近的工作迎来了细微但又明显的变化。他日常所用的图像传输系统加载上了阿里达摩院的PANDA模型，除了熟悉的影像界面，他还多了得力的“AI助手”，会辅助显示检查结果和进行风险提示。在PANDA的帮助下，周医生进行了过往病例的筛查验证，有两例胰腺癌病例被发现——在过去实际的检查环境下，这两个患者通过平扫CT所诊断出来的结果都是胰腺炎，是后续因为其它原因又做了增强CT或者增强磁共振后才确诊了胰腺癌——他对“AI助手”的灵敏性非常满意。胰腺癌，被称为“癌王”，虽然不像胃癌、肝癌等癌种高发，但早期无明显症状，很难被发现，患者有症状来到医院时，一般已是晚期极难治愈，平均5年生存率仅10%。“针对胰腺癌变位置隐匿、在平扫CT图像中无明显表征等特点，我们构建了一个独特的深度学习框架，最终训练为胰腺癌早期检测模型。”达摩院医疗AI团队产品专家、PANDA项目相关负责人郭建飞说，模型所直面的就是针对胰腺癌的早筛，其原理就是利用AI放大并识别平扫CT图像中那些肉眼难以识别的细微的病灶特征。周医生所感知到的灵敏性，背后是PANDA落地丽水前就经历过的广泛临床验证。PANDA模型构建了一个包含3208名真实病人的训练集，最终通过了上海市胰腺疾病研究所、浙江大学医学院附属第一医院等10家医院/高校包含6239名病人的多中心验证，以及约2万名连续病人的真实世界临床验证，其胰腺癌识别敏感性相较于人工诊断提高了34.1%。另外，在PANDA发布之前，大家并不知道平扫CT可以用来检查癌症。过去对肿瘤的检测和诊断主要依赖于增强CT，需要给病人注射或者口服造影剂，并不适合大规模筛查使用。灵敏性和便利性，正是NatureMedicine给予PANDA评价的原因所在。PANDA的日常使用者除了放射科，还有体检科，郭建飞介绍说，它既有CT检查的高普及度，又兼顾人工智能的高灵敏度，可以在患者的日常体检与医院检查中进行癌症以及慢性病筛查，一次早筛多个癌种，将有效提高癌症的筛查效率，提高无症状人群的早期癌症发现率，从而改善癌症患者预后。对丽水百姓来说，他们也许并无明显的感知，但变化已经在发生。世界前沿的医学研究成果被率先落地到了丽水，他们到相关医院检查、体检时，不需花费额外的费用，就可以从单一的、浅层次的检查，变成早早地预知风险，大大提高疾病治愈率，也将大大节约个人与家庭的医疗开支和国家医保经费。一个黄金时代准备就绪在达摩院PANDA相关论文发表时，NatureMedicine杂志配发了一篇社评，名为《基于AI与医疗影像的肿瘤筛查：一个黄金时代准备就绪》（AIandimaging-basedcancerscreening:gettingreadyforprimetime)。黄金时代，既是为该项研究的前沿性提出褒奖，也是对其未来能够规模化落地充满了期望，是“极具前途的方法”。对达摩院和阿里公益来说也是如此，他们希望通过技术的先进性来实现普惠和健康公平，用公益把医疗领域的先进成果更广泛、更持续地推广下去。PANDA落地丽水正是此意，丽水地处浙江山区，是阿里巴巴公益乡村振兴的重点支持区域。两家试点医院一家是丽水市中心医院，是市级的三甲医院，担负着全市主要的重急症健康保护工作，另一家是景宁县人民医院，是一个县级的二级医院。景宁也是阿里巴巴直接派驻乡村特派员帮扶的县域，它们基本上可以代表丽水地区的医疗卫生系统水平。这意味着我们真正走出了实验室的理想环境，到了基层的医疗系统之中。郭建飞这样认为，此前，PANDA合作的都是来自上海、北京、杭州等国内数一数二的胰腺病专科医院，设备先进、诊疗流程规范，因此用以研究的数据质量很高，模型的构筑和训练是相对可控的。但到了基层医院，郭建飞打了个比方，“就像高清的电视变成了一个雪花黑白电视的那种状态”，它们没有比肩一线医院的先进设备，很多现实情况不可控，但如此普通的医疗水平之下，虽对PANDA模型提出了更高的要求，但对其更大范围的普及却大有裨益。更重要的意义在于，丽水落地PANDA这个模式被验证成功之后，未来就可以批量地规模化复制，任何一家医院都能低成本地把PANDA模型复制过去，这是最大的意义。”郭建飞强调说。正如达摩院医疗AI团队负责人吕乐所说，“因为我们在做的这类东西如果做得好，就可以开放出来，这样才能真正地帮助到千千万万的病人。”怀揣公益、探索医疗AI的“梦之队”吕乐是约翰霍普金斯大学计算机科学博士，现在带领达摩院医疗AI团队前已从事医学影像和临床信息学方面的研发十余年，他希望搭建一个能帮助医生、治愈更多病人的研究团队。我自己亲戚也有癌症患者，也用了我们AI工具来判断是否肿瘤可切除；本地三甲医院的医生认为已经失去了手术机会，后来证明我们AI的判断结果和上海的顶级专科医院的专家判断是一致的，半年前病人已经手术成功，目前已经超过了本地三甲医院估计的生存期。在PANDA模型发表之后，吕乐也不禁感慨，“我们开展胰腺癌研究很长时间了，从来没想到会给自己的家人用到，人生是梦幻，也是命中注定。”达摩院工程师郭建飞也是同样“命中注定”要与PANDA结缘的人。20年前，他在中国医科大学本硕连读时，就对医学影像如何与计算机技术结合产生了浓厚的兴趣，还参与了国内第一本医学影像领域里的计算机辅助诊断教材。这样的追梦人，在达摩院医疗AI团队还有很多，对于一个个尚未找到解法的难题，他们并没有什么既定的方向可以追寻，只能靠在这个领域的科研积累和大胆假设来寻求突破，让AI通过大量的相关图像数据来学习、迭代。郭建飞坦言，PANDA在丽水的顺利推进，依靠的既有20多个来自达摩院的小伙伴，他还和阿里巴巴助力共富工作小组的子略成了背靠背的好伙伴，再加上丽水各个部门和医院的工作人员，大家组成了一支切切实实的“梦之队”。这种阵容的组合搭配，走出了丽水速度，打造了丽水样板，基于AI与医疗影像的肿瘤筛查，一个黄金时代准备就绪。...PC版：https://www.cnbeta.com.tw/articles/soft/1421960.htm手机版：https://m.cnbeta.com.tw/view/1421960.htm