【阿里巴巴达摩院基础视觉团队总监：将于月底逐步开放文字生成图像产品“通义万相”】

【阿里巴巴达摩院基础视觉团队总监：将于月底逐步开放文字生成图像产品“通义万相”】4月12日消息，在2023香港Web3嘉年华会场上的“Web3技术新风向：人工智慧生成内容(AIGC)与隐私运算技术”活动中，阿里巴巴达摩院基础视觉团队总监赵德丽发表《阿里巴巴Composer，释放AIGC的创造力》主旨演讲称，未来AI行业的趋势包括垂直行业AI算法的发展会继续深耕，开源平台的出现（像达摩院推出的模型ModelScope）、底层算法的统一等。我们的路线图在Text-to-Image方面先后经历过FoundationModels（Composer1.0）、CustomizedGeneration与ControllableGeneration（Composer2.0）三个阶段，今年已发布ControlNet、Composer2.0以及T2I-Adapter。基于阿里云我们构建了一个“通义万相”产品，将于月底开放给大家。

达摩院首个遥感AI大模型发布 一个模型即可识别地表万物

达摩院首个遥感AI大模型发布一个模型即可识别地表万物比如，输入“提取影像中的耕地农田”，会自动识别所选目标。达摩院此次提出的遥感AI解译通用分割模型（AIE-SEG），率先在遥感领域实现了图像分割的任务统一。一个模型即可实现“万物零样本”的快速提取，可识别农田、水域、建筑物等近百种遥感地物分类，且多项任务处理下依旧保持高精度的识别，还能根据用户的交互式反馈自动调优识别结果。在一些特定场景下，对比传统的遥感模型，实例提取的准确率可提升25%，变化检测的准确率可提升30%。基于上述的基础能力，遥感AI大模型提供“开箱即用”的API调用服务，用户可根据不同需要，定制不同的遥感AI解译功能，如水体提取、耕地变化监测、光伏识别等山东省国土测绘院自2022年起与达摩院在自然资源调查、耕地保护等领域展开合作，调用遥感AI大模型进行山东全省冬小麦的长势监测研究，识别精度达到90%以上，有效提升了冬小麦遥感解译的效率，帮助农业管理者更好地预测粮食产量、提升农业生产效益。国家自然灾害防治研究院基于遥感AI大模型进行滑坡和倒塌建筑物的识别，在历史的自然灾害区域遥感图像的测试中，提取这些受灾信息仅需十几分钟时间，相比人工识别方式效率提升数十倍，为科学救灾提供高效、精准的遥感分析支持。达摩院视觉技术实验室AIEarth算法负责人罗浩表示，遥感多模态是推进人类更好地理解地球的必由之路，达摩院将持续推进遥感AI大模型的研究，以AI助力地球科学的探索与应用。AIEarth是达摩院于2022年发布的一站式地球科学云平台，基于深度学习、计算机视觉、地理空间分析等技术积累，提供多源观测数据的云计算分析服务，目前与国内50+高校建立合作，相关技术已应用于水利部、国家气象中心、生态环境部等机构。...PC版：https://www.cnbeta.com.tw/articles/soft/1391327.htm手机版：https://m.cnbeta.com.tw/view/1391327.htm

如果预训练阶段没有看过，在微调时增加的知识可能更容易让模型产生幻觉。

如果预训练阶段没有看过，在微调时增加的知识可能更容易让模型产生幻觉。以此推论，开源模型微调的事实性很难有提升。而GPT4的事实性准确性也来自预训练。anton: ThisisausefulrecenttalkonwhyLLMshallucinate.Itseemsthatfinetuningcanteachthemodeltohallucinatemoreifthatknowledgewasnotpreviouslyseenbeforeduringtraining

阿里达摩院AI识别平扫CT图像 首次实现胰腺癌大规模早期筛测

阿里达摩院AI识别平扫CT图像首次实现胰腺癌大规模早期筛测阿里巴巴官方发文称，国际医学顶级期刊《NatureMedicine》最新研究表明，通过“平扫CT+AI”，人类首次拥有了大规模早期胰腺癌的筛查手段。阿里达摩院（湖畔实验室）联合全球十多家顶尖医疗机构，将AI用于体检中心、医院等无症状人群的胰腺癌筛查，只需要最简单的平扫CT，就在2万多真实世界连续病人群体中发现了31例临床漏诊病变，其中2例早期胰腺癌病患已完成手术治愈。《NatureMedicine》就此专门刊发评论文章：“基于医疗影像AI的癌症筛查即将进入黄金时代”。研究团队构建了一个独特的深度学习框架，利用AI放大并识别平扫CT图像中那些肉眼难以识别的细微的病灶特征，实现高效、安全的早期胰腺癌检测，并克服了过往筛查手段假阳性偏高的难题。据了解，此项研究构建了迄今最大的胰腺肿瘤CT训练集（包括3208名真实病人），最终通过全球十多家医院的多中心验证，测得92.9%的敏感性（判断存在胰腺病变的准确率）和99.9%的特异性（判断无病的准确率）。截至目前，这项技术已在医院、体检等场景被调用超过50万次，每1000次只出现一次假阳性，未来将持续进行多中心前瞻性临床验证，以期改写“胰腺肿瘤不推荐筛查”的悲观论点。目前，这项工作已经在胰腺癌、食管癌肺癌、乳腺癌、肝癌、胃癌、结直肠癌等七种高发癌症上取得阶段性进展，研究成果先后登上《NatureMedicine》《NatureCommunications》等医学期刊及CVPR/MICCAI/IPMI等AI顶会。附《NatureMedicine》文章链接：https://www.nature.com/articles/s41591-023-02640-w...PC版：https://www.cnbeta.com.tw/articles/soft/1398697.htm手机版：https://m.cnbeta.com.tw/view/1398697.htm

阿里巴巴达摩院医疗AI团队正在用AI诊癌

阿里巴巴达摩院医疗AI团队正在用AI诊癌3个月之后，阿里巴巴“医疗AI多癌早筛公益项目”在浙江丽水启动，并在丽水市中心医院和景宁县人民医院完成了部署。从胰腺癌和骨质疏松两个病种的筛查入手，后续还将涵盖肝癌、食管癌、胃癌、结直肠癌等占据新发癌量38.1%的病灶发现，以及脂肪肝及肺结节等总计13个病种，借助最新的医疗AI技术，丽水的百姓们在日常检查中就可以顺便进行多癌、多病症的早筛。吕乐是达摩院医疗AI团队负责人，他希望这项研究在丽水能够帮助到更多医生，治愈更多病人。我自己亲戚也有癌症患者，也用了我们AI工具来判断是否肿瘤可切除。丽水来了PANDA丽水市中心医院放射科的周医生，最近的工作迎来了细微但又明显的变化。他日常所用的图像传输系统加载上了阿里达摩院的PANDA模型，除了熟悉的影像界面，他还多了得力的“AI助手”，会辅助显示检查结果和进行风险提示。在PANDA的帮助下，周医生进行了过往病例的筛查验证，有两例胰腺癌病例被发现——在过去实际的检查环境下，这两个患者通过平扫CT所诊断出来的结果都是胰腺炎，是后续因为其它原因又做了增强CT或者增强磁共振后才确诊了胰腺癌——他对“AI助手”的灵敏性非常满意。胰腺癌，被称为“癌王”，虽然不像胃癌、肝癌等癌种高发，但早期无明显症状，很难被发现，患者有症状来到医院时，一般已是晚期极难治愈，平均5年生存率仅10%。“针对胰腺癌变位置隐匿、在平扫CT图像中无明显表征等特点，我们构建了一个独特的深度学习框架，最终训练为胰腺癌早期检测模型。”达摩院医疗AI团队产品专家、PANDA项目相关负责人郭建飞说，模型所直面的就是针对胰腺癌的早筛，其原理就是利用AI放大并识别平扫CT图像中那些肉眼难以识别的细微的病灶特征。周医生所感知到的灵敏性，背后是PANDA落地丽水前就经历过的广泛临床验证。PANDA模型构建了一个包含3208名真实病人的训练集，最终通过了上海市胰腺疾病研究所、浙江大学医学院附属第一医院等10家医院/高校包含6239名病人的多中心验证，以及约2万名连续病人的真实世界临床验证，其胰腺癌识别敏感性相较于人工诊断提高了34.1%。另外，在PANDA发布之前，大家并不知道平扫CT可以用来检查癌症。过去对肿瘤的检测和诊断主要依赖于增强CT，需要给病人注射或者口服造影剂，并不适合大规模筛查使用。灵敏性和便利性，正是NatureMedicine给予PANDA评价的原因所在。PANDA的日常使用者除了放射科，还有体检科，郭建飞介绍说，它既有CT检查的高普及度，又兼顾人工智能的高灵敏度，可以在患者的日常体检与医院检查中进行癌症以及慢性病筛查，一次早筛多个癌种，将有效提高癌症的筛查效率，提高无症状人群的早期癌症发现率，从而改善癌症患者预后。对丽水百姓来说，他们也许并无明显的感知，但变化已经在发生。世界前沿的医学研究成果被率先落地到了丽水，他们到相关医院检查、体检时，不需花费额外的费用，就可以从单一的、浅层次的检查，变成早早地预知风险，大大提高疾病治愈率，也将大大节约个人与家庭的医疗开支和国家医保经费。一个黄金时代准备就绪在达摩院PANDA相关论文发表时，NatureMedicine杂志配发了一篇社评，名为《基于AI与医疗影像的肿瘤筛查：一个黄金时代准备就绪》（AIandimaging-basedcancerscreening:gettingreadyforprimetime)。黄金时代，既是为该项研究的前沿性提出褒奖，也是对其未来能够规模化落地充满了期望，是“极具前途的方法”。对达摩院和阿里公益来说也是如此，他们希望通过技术的先进性来实现普惠和健康公平，用公益把医疗领域的先进成果更广泛、更持续地推广下去。PANDA落地丽水正是此意，丽水地处浙江山区，是阿里巴巴公益乡村振兴的重点支持区域。两家试点医院一家是丽水市中心医院，是市级的三甲医院，担负着全市主要的重急症健康保护工作，另一家是景宁县人民医院，是一个县级的二级医院。景宁也是阿里巴巴直接派驻乡村特派员帮扶的县域，它们基本上可以代表丽水地区的医疗卫生系统水平。这意味着我们真正走出了实验室的理想环境，到了基层的医疗系统之中。郭建飞这样认为，此前，PANDA合作的都是来自上海、北京、杭州等国内数一数二的胰腺病专科医院，设备先进、诊疗流程规范，因此用以研究的数据质量很高，模型的构筑和训练是相对可控的。但到了基层医院，郭建飞打了个比方，“就像高清的电视变成了一个雪花黑白电视的那种状态”，它们没有比肩一线医院的先进设备，很多现实情况不可控，但如此普通的医疗水平之下，虽对PANDA模型提出了更高的要求，但对其更大范围的普及却大有裨益。更重要的意义在于，丽水落地PANDA这个模式被验证成功之后，未来就可以批量地规模化复制，任何一家医院都能低成本地把PANDA模型复制过去，这是最大的意义。”郭建飞强调说。正如达摩院医疗AI团队负责人吕乐所说，“因为我们在做的这类东西如果做得好，就可以开放出来，这样才能真正地帮助到千千万万的病人。”怀揣公益、探索医疗AI的“梦之队”吕乐是约翰霍普金斯大学计算机科学博士，现在带领达摩院医疗AI团队前已从事医学影像和临床信息学方面的研发十余年，他希望搭建一个能帮助医生、治愈更多病人的研究团队。我自己亲戚也有癌症患者，也用了我们AI工具来判断是否肿瘤可切除；本地三甲医院的医生认为已经失去了手术机会，后来证明我们AI的判断结果和上海的顶级专科医院的专家判断是一致的，半年前病人已经手术成功，目前已经超过了本地三甲医院估计的生存期。在PANDA模型发表之后，吕乐也不禁感慨，“我们开展胰腺癌研究很长时间了，从来没想到会给自己的家人用到，人生是梦幻，也是命中注定。”达摩院工程师郭建飞也是同样“命中注定”要与PANDA结缘的人。20年前，他在中国医科大学本硕连读时，就对医学影像如何与计算机技术结合产生了浓厚的兴趣，还参与了国内第一本医学影像领域里的计算机辅助诊断教材。这样的追梦人，在达摩院医疗AI团队还有很多，对于一个个尚未找到解法的难题，他们并没有什么既定的方向可以追寻，只能靠在这个领域的科研积累和大胆假设来寻求突破，让AI通过大量的相关图像数据来学习、迭代。郭建飞坦言，PANDA在丽水的顺利推进，依靠的既有20多个来自达摩院的小伙伴，他还和阿里巴巴助力共富工作小组的子略成了背靠背的好伙伴，再加上丽水各个部门和医院的工作人员，大家组成了一支切切实实的“梦之队”。这种阵容的组合搭配，走出了丽水速度，打造了丽水样板，基于AI与医疗影像的肿瘤筛查，一个黄金时代准备就绪。...PC版：https://www.cnbeta.com.tw/articles/soft/1421960.htm手机版：https://m.cnbeta.com.tw/view/1421960.htm