第二军医大学学报2018年4月第39卷第4期Mttp:www.asimmu.ch 358 Academic Journal of Second Military Medical University, Apr. 2018, Vol 39, No. 4 专家论坛 于观贞上海中医药大学附属龙华医院肿瘤科副主任医师、温州医科大学客座教授,硕士生 导师,中国研究型医院学会智能医学专业委员会委员。先后在海军军医大学(第二军医大学)获 得病理学硕士和临床肿瘤学博士学位,2011-2012年在美国德州大学 MD Anderson痛症中心从事 脑外科博士后研究。入选2013年上海市浦江人才计划。目前主要从事围绕胃癌与胆管癌的预防和 精准治疗、转移机制以及氢医学和人工智能的研究。主持囯家自然科学基金2项,浦江人才计划项 目1项,全军医药卫生科研基金1项,福建省自然科学基金1项,中国临床肿瘤学科学基金1项。 作为子课题负责人或主要撰稿人承担国家国际科技合作专项国家科技支撑计划、上海市重大疾病 科技攻关项目各1项。在 EMBO J、 Clin Invest、 Clin Cancer res、 BMC Cancer、 Clin Exp Metastasis、 Cancer Res clin Oncol、 Med oncol、 Eur Surg Res等期刊发表论文多篇,总影响因子近200分,被引频次超过500 次,单篇最高被引频次为14次。申请获批发明专利2项,实用新型专利1项。曾获军队医疗成果奖一等奖(第二署名)、美国 德州大学 MD Anderson btc poster award(第一署名)、军队医疗成果奖三等奖、中国临床肿瘤学科学基金优秀论文一等奖。 DoI:10.16781/0258879x201804.0358 人工智能在临床医学中的应用与思考 于观贞1,刘西洋?,张彦春3,杨晶东,田建辉1,朱明华° 1.上海中医药大学附属龙华医院肿瘤科,上海200032 2.西安电子科技大学软件学院,西安710071 3.复旦大学计算机科学技术学院医疗健康大数据研究中心,上海201203 4.上海理工大学光电信息与计算机工程学院,上海20093 5.海军军医大学(第二军医大学)长海医院病理科,上海200433 摘要]人工智能(AI)已成为发达国家的国家战略。在医疗健康领域的各个环节(如虚拟助理、医学影像 药物挖掘、营养学、医院管理、健康管理、精神疾病、可穿戴设备、风险管理、病理学和临床诊疗活动等),AI已 取得极大的发展。本文就医疗活动中较为成功的AI研究,即AI与病理诊断、眼部疾病、皮肤疾病、医学影像、中 医药、心电监测、手术机器人、肿瘤治疗、医学科学研究作一系统性的评述,阐述医疗领域AI应用存在的问题与展 望。相信随着AI技术的发展,AI将会推动医疗领域革命性的进步,使广大病患受益 关键词]人工智能;病理;治疗;机器人;中医药 中图分类号]R604 文献标志码」A[章编号0258-879X(201804035808 Artificial intelligence in clinical medicine: application and thinking YU Guan-zhen, LIU Xi-yang, ZHANG Yan-chun, YANG Jing-dong, TIAN Jian-hui, ZHU Ming-hua 1. Department of Oncology, Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine, Shanghai 200032, China 2. School of Software, Xidian University, Xi'an 710071, Shaanxi, Chin 3. Medical Health Big Data Research Center, School of Computer Science, Fudan University, Shanghai 201203, China 4. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China 5. Department of Pathology, Changhai Hospital, Navy Medical University(Second Military Medical University), Shanghai 200433, China [收稿日期2018-03-24 接受日期2018-04-10 基金项目国家自然科学基金(81572856,上海中医药大学附属龙华医院高层次人才引进项目(LH0251002). Supported by National Natural Science Foundation of China(81572856)and High-Level Talent Introduction of Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine(LH02. 51. 002) I作者简介」于观贞,博士,副主任医师,硕士生导师 通信作者(Correspondingauthor.le:021-643857008163Emal:qiaoshanqian@aliyun.com 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
· 358 · ·专家论坛· 第二军医大学学报 2018 年 4 月第 39 卷第 4 期 http：//www.ajsmmu.cn Academic Journal of Second Military Medical University, Apr. 2018, Vol. 39, No. 4 人工智能在临床医学中的应用与思考 于观贞1*，刘西洋2 ，张彦春3 ，杨晶东4 ，田建辉1 ，朱明华5 1. 上海中医药大学附属龙华医院肿瘤科，上海 200032 2. 西安电子科技大学软件学院，西安 710071 3. 复旦大学计算机科学技术学院医疗健康大数据研究中心，上海 201203 4. 上海理工大学光电信息与计算机工程学院，上海 200093 5. 海军军医大学（第二军医大学）长海医院病理科，上海 200433 [摘要] 人工智能（AI）已成为发达国家的国家战略。在医疗健康领域的各个环节（如虚拟助理、医学影像、 药物挖掘、营养学、医院管理、健康管理、精神疾病、可穿戴设备、风险管理、病理学和临床诊疗活动等），AI 已 取得极大的发展。本文就医疗活动中较为成功的 AI 研究，即 AI 与病理诊断、眼部疾病、皮肤疾病、医学影像、中 医药、心电监测、手术机器人、肿瘤治疗、医学科学研究作一系统性的评述，阐述医疗领域 AI 应用存在的问题与展 望。相信随着 AI 技术的发展，AI 将会推动医疗领域革命性的进步，使广大病患受益。 [关键词] 人工智能；病理；治疗；机器人；中医药 [中图分类号] R 604 [文献标志码] A [文章编号] 0258-879X(2018)04-0358-08 Artificial intelligence in clinical medicine: application and thinking YU Guan-zhen1*, LIU Xi-yang2 , ZHANG Yan-chun3 , YANG Jing-dong4 , TIAN Jian-hui1 , ZHU Ming-hua5 1. Department of Oncology, Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine, Shanghai 200032, China 2. School of Software, Xidian University, Xi’an 710071, Shaanxi, China 3. Medical Health Big Data Research Center, School of Computer Science, Fudan University, Shanghai 201203, China 4. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China 5. Department of Pathology, Changhai Hospital, Navy Medical University (Second Military Medical University), Shanghai 200433, China [收稿日期] 2018-03-24 [接受日期] 2018-04-10 [基金项目] 国家自然科学基金(81572856), 上海中医药大学附属龙华医院高层次人才引进项目(LH02.51.002). Supported by National Natural Science Foundation of China (81572856) and High-Level Talent Introduction of Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine (LH02.51.002). [作者简介] 于观贞，博士，副主任医师，硕士生导师． * 通信作者(Corresponding author). Tel: 021-64385700-8163, E-mail: qiaoshanqian@aliyun.com 于观贞 上海中医药大学附属龙华医院肿瘤科副主任医师、温州医科大学客座教授，硕士生 导师，中国研究型医院学会智能医学专业委员会委员。先后在海军军医大学（第二军医大学）获 得病理学硕士和临床肿瘤学博士学位，2011－2012 年在美国德州大学 MD Anderson 癌症中心从事 脑外科博士后研究。入选 2013 年上海市浦江人才计划。目前主要从事围绕胃癌与胆管癌的预防和 精准治疗、转移机制以及氢医学和人工智能的研究。主持国家自然科学基金 2 项，浦江人才计划项 目 1 项，全军医药卫生科研基金 1 项，福建省自然科学基金 1 项，中国临床肿瘤学科学基金 1 项。 作为子课题负责人或主要撰稿人承担国家国际科技合作专项国家科技支撑计划、上海市重大疾病 科技攻关项目各 1 项。在 EMBO J、J Clin Invest、Clin Cancer Res、BMC Cancer、Clin Exp Metastasis、J Cancer Res Clin Oncol、Med Oncol、Eur Surg Res 等期刊发表论文多篇，总影响因子近 200 分，被引频次超过 500 次，单篇最高被引频次为 144 次。申请获批发明专利 2 项，实用新型专利 1 项。曾获军队医疗成果奖一等奖（第二署名）、美国 德州大学 MD Anderson BTC Poster Award 2nd（第一署名）、军队医疗成果奖三等奖、中国临床肿瘤学科学基金优秀论文一等奖。 DOI：10.16781/j.0258-879x.2018.04.0358
第4期.于观贞,等.人工智能在临床医学中的应用与思考 359 [Abstract] Artificial intelligence(AD) has become a national strategy in developed countries. AI has been a great success in many scenarios of medicine and health fields, including virtual assistant, medical imaging, drug mining, nutrition, hospital management, health management, mental illness, wearable devices, risk management, pathology and clinical diagnosis and treatment. Here, we reviewed and commented the recent progresses on the application of Al in the pathological diagnosis, ocular diseases, skin disorders, medical imaging, traditional Chinese medicine, electrocardiographic monitoring, medical robots, oncotherapy and translational researches, and summed up and prospected the problems of Al application in medicine and health fields. With the development of technology, Al will lead to a revolutionary progress in medical treatment [Key words] artificial intelligence; pathology; therapy; robot; traditional Chinese medicine and pharmacy Acad J Sec Mil Med Univ, 2018, 39(4): 358-3651 发达国家已将人工智能( artificial intelligence,也随着AI的发展逐步进入医疗市场。在智能诊疗 AI)上升为国家战略。世界各国均意识到AI是领域, IBM Waston展示了AI诊断和治疗人类疾病 未来科技发展的战略制高点,谁掌握了AI,谁就的可行性。目前,我国科学工作者也积极参与到医 将成为未来核心技术的掌控者。我国亦充分意识疗AI的研发中,包括病理辅助诊断、眼部疾病、 到这一点,早在2015年5月即提出《中国制造皮肤疾病、医学影像、中医药、心电监测、手术机 2025》,2016年5月又提出《“互联网+”人工器人、肿瘤治疗和医学科学研究等领域,本文将对 智能三年行动实施方案》,2017年11月在北京召上述研究进展逐一综述。 开“新一代人工智能发展规划暨重大科技项目”启 1AI在临床医学中的应用 动会,这些都标志着新一代AI发展规划和重大科 技项目进入了全面启动实施阶段。2017年12月我1.1AI与病理诊断近年来AI在病理学中的应 国工业和信息化部提出了《促进新一代人工智能产用突飞猛进,于观贞等四就AI在肿瘤病理诊断和 业发展三年行动计划(2018-2020年)》,明确评估中的应用作了全面综述,阐述了AI应用的具 指出对医疗影像辅助诊断系统的具体要求。AⅠ时体病理场景,肯定了病理AI的应用前景,并首 代已经到来,其发展关系到国家现代化建设的重大次提出肿瘤细胞的标注流程和标准。奠定病理AI 任务,也关系民众的切身利益。 的研究是生物医学成像国际研讨会( International AI已深入到医疗健康领域的各个环节,如虚 Symposium on Biomedical Imaging,ISBI)于 拟助理、医学影像、药物挖掘、营养学、医院管2015年11月至2016年11月举办的研究者挑战赛 理、健康管理、精神疾病、可穿戴设备、风险管( CAMELYON6),研究评估了深度学习在检测 理、病理学和临床诊疗活动等叫。目前医疗活动中乳腺癌患者淋巴结转移病理切片中的转移灶的潜 比较成功的AI包括影像AI、药物研发AI、医疗力,并与病理医师的评估进行比较。两家荷兰医学 机器人和 IBM Waston等。由于医学影像的二维属中心提供了270例全切片数字图像(有转移110例 性,AI在医学影像中取得了较好的应用成果,受和无转移160例)作为训练集供参赛者构建算法 试者工作特征( receiver operating characteristic,另有129例(有转移49例和无转移80例)作为 ROC)曲线下面积( area under curve,AUC)可达验证集对算法进行评定,11位来自荷兰的病理医 到0.9以上,如基于钼靶影像的乳腺病变检测、基师对上述切片进行评估,结果显示AI算法的AUC 于皮肤照片的皮肤癌分类诊断、基于数字病理切片为0.556~0.994、病理医师得出的AUC为0724 的乳腺癌淋巴结转移检测、基于眼底照片的糖尿病 (95%C:0.643~0.804),且AI最佳算法在诊 性视网膜病变检测,以及基于胸部Ⅹ线片的肺部断模拟中的表现优于病理医师〖0.994(95%Cl: 炎性疾病。借助深度学习,药物研发AI在心血管0.983~0.999)vs0810(95%C:0.738~0.884) 药、抗肿瘤药、孤儿药和常见传染病治疗药等领域P<0.001門。这些结果表明深度学习算法用于病理 取得了新突破,缩短了药物研发时间、提高了研发诊断具有较大的潜力,但其是否能应用于临床还需 效率且控制了研发成本。医疗机器人中的达芬奇机进一步评估。一项研究纳入了癌症和肿瘤基因图谱 器人早已在各大医院推广应用,其他类型的机器人( Cancer genome atlas,TCGA)数据库中的218 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
第 4 期．于观贞，等．人工智能在临床医学中的应用与思考 · 359 · [Abstract] Artificial intelligence (AI) has become a national strategy in developed countries. AI has been a great success in many scenarios of medicine and health fields, including virtual assistant, medical imaging, drug mining, nutrition, hospital management, health management, mental illness, wearable devices, risk management, pathology and clinical diagnosis and treatment. Here, we reviewed and commented the recent progresses on the application of AI in the pathological diagnosis, ocular diseases, skin disorders, medical imaging, traditional Chinese medicine, electrocardiographic monitoring, medical robots, oncotherapy and translational researches, and summed up and prospected the problems of AI application in medicine and health fields. With the development of technology, AI will lead to a revolutionary progress in medical treatment. [Key words] artificial intelligence; pathology; therapy; robot; traditional Chinese medicine and pharmacy [Acad J Sec Mil Med Univ, 2018, 39(4): 358-365] 也随着 AI 的发展逐步进入医疗市场。在智能诊疗 领域，IBM Waston 展示了 AI 诊断和治疗人类疾病 的可行性。目前，我国科学工作者也积极参与到医 疗 AI 的研发中，包括病理辅助诊断、眼部疾病、 皮肤疾病、医学影像、中医药、心电监测、手术机 器人、肿瘤治疗和医学科学研究等领域，本文将对 上述研究进展逐一综述。 1 AI 在临床医学中的应用 1.1 AI 与病理诊断 近年来 AI 在病理学中的应 用突飞猛进，于观贞等[2]就 AI 在肿瘤病理诊断和 评估中的应用作了全面综述，阐述了 AI 应用的具 体病理场景，肯定了病理 AI 的应用前景，并首 次提出肿瘤细胞的标注流程和标准。奠定病理 AI 的研究是生物医学成像国际研讨会（International Symposium on Biomedical Imaging， ISBI ）于 2015 年 11 月至 2016 年 11 月举办的研究者挑战赛 （CAMELYON16），研究评估了深度学习在检测 乳腺癌患者淋巴结转移病理切片中的转移灶的潜 力，并与病理医师的评估进行比较。两家荷兰医学 中心提供了 270 例全切片数字图像（有转移 110 例 和无转移 160 例）作为训练集供参赛者构建算法， 另有 129 例（有转移 49 例和无转移 80 例）作为 验证集对算法进行评定，11 位来自荷兰的病理医 师对上述切片进行评估，结果显示 AI 算法的 AUC 为 0.556～0.994、病理医师得出的 AUC 为 0.724 （95% CI：0.643～0.804），且 AI 最佳算法在诊 断模拟中的表现优于病理医师 [0.994（95% CI： 0.983～0.999）vs 0.810（95% CI：0.738～0.884）， P＜0.001][3]。这些结果表明深度学习算法用于病理 诊断具有较大的潜力，但其是否能应用于临床还需 进一步评估。一项研究纳入了癌症和肿瘤基因图谱 （Cancer Genome Atlas，TCGA）数据库中的 2 186 发达国家已将人工智能（artificial intelligence， AI）上升为国家战略。世界各国均意识到 AI 是 未来科技发展的战略制高点，谁掌握了 AI，谁就 将成为未来核心技术的掌控者。我国亦充分意识 到这一点，早在 2015 年 5 月即提出《中国制造 2025》，2016 年 5 月又提出《“互联网＋”人工 智能三年行动实施方案》，2017 年 11 月在北京召 开“新一代人工智能发展规划暨重大科技项目”启 动会，这些都标志着新一代 AI 发展规划和重大科 技项目进入了全面启动实施阶段。2017 年 12 月我 国工业和信息化部提出了《促进新一代人工智能产 业发展三年行动计划（2018―2020 年）》，明确 指出对医疗影像辅助诊断系统的具体要求。AI 时 代已经到来，其发展关系到国家现代化建设的重大 任务，也关系民众的切身利益。 AI 已深入到医疗健康领域的各个环节，如虚 拟助理、医学影像、药物挖掘、营养学、医院管 理、健康管理、精神疾病、可穿戴设备、风险管 理、病理学和临床诊疗活动等[1]。目前医疗活动中 比较成功的 AI 包括影像 AI、药物研发 AI、医疗 机器人和 IBM Waston 等。由于医学影像的二维属 性，AI 在医学影像中取得了较好的应用成果，受 试者工作特征（receiver operating characteristic， ROC）曲线下面积（area under curve，AUC）可达 到 0.9 以上，如基于钼靶影像的乳腺病变检测、基 于皮肤照片的皮肤癌分类诊断、基于数字病理切片 的乳腺癌淋巴结转移检测、基于眼底照片的糖尿病 性视网膜病变检测，以及基于胸部 X 线片的肺部 炎性疾病。借助深度学习，药物研发 AI 在心血管 药、抗肿瘤药、孤儿药和常见传染病治疗药等领域 取得了新突破，缩短了药物研发时间、提高了研发 效率且控制了研发成本。医疗机器人中的达芬奇机 器人早已在各大医院推广应用，其他类型的机器人
第二军医大学学报2018年4月,第39卷 例肺腺癌和肺鳞状细胞癌组织切片的数字图像和TSR可以精确到小数。淋巴细胞在肿瘤中的分布 294例组织芯片( tissue microarray,TMA)数据库及其与肿瘤细胞的距离与肿瘤患者的免疫状态和 的图像,从这些图像中抽取了9879个定量特征 免疫治疗密切相关,肉眼难以评估,而AI能轻易 随后用机器学习算法选取排名靠前的特征,发现这显示淋巴细胞在肿瘤中的空间分布状态。此外, 些特征能较好地预测肺腺癌和肺鳞状细胞癌患者的AI还有助于评估免疫组织化学指标,而后者主要 生存时间,评估肺癌患者预后。 用于肿瘤鉴别诊断和靶向治疗。人表皮生长因子 鉴于A在肿瘤细胞识别中的可行性,后续大量受体2( human epidermal growth factor receptor2 研究集中于各类型肿瘤的病理诊断,包括宫颈癌 HER2)是胃癌和乳腺癌的重要靶点之一,准确评 胃癌、肠癌、肺癌、胆管癌等。宫颈癌筛查是基估HER2水平有助于肿瘤患者的治疗,而基于AI 于细胞学的病理诊断,细胞学识别可操作性强、假的HER2自动评分系统已初步显示出其优越性同。 阴性率低,通过AI筛选出异型或疑似细胞,然后由1.2AI与眼部疾病眼部疾病的检查多依赖光学 病理医师最终诊断,这样能显著提高诊断效率、减设备对眼表和眼底影像的抓取,在眼底病方面,青 少误诊率、降低人力成本,有望广泛用于宫颈癌的光眼、黄斑变性和糖尿病性视网膜病变是最常见的 筛查。上海大数据联盟举办的胃癌病理切片A大赛不可逆致盲眼底病。2016年,谷歌 DeepMind团 中,第1名诊断的AU℃为0.109;大赛病理切片标队发表了糖尿病性视网膜病变的AI筛查研究,基 注方于观贞团队也参与了这项工作(图1),同时在于谷歌 TensorFlow和 Inception V3模型进行训练 标注过程中发现了我国病理AI中应注意的问题,并最终AI诊断准确率超过了眼科专家叫。先天性白 撰写了肿瘤细胞标注的流程和注意事项。 内障是罕见的眼部疾病,中山大学眼科中心林浩 Tissue region extraction 添和西安电子科技大学刘西洋团队在仅使用少量样 本的情况下,对图像使用霍夫变换等方法进行预 H-E 处理,提取感兴趣区域,然后采用迁移学习的方 法基于Cafe和 AlexNet模型进行训练,最终诊断准 确率达到专家水平,并且建立了云筛查诊断平台CC Cruiser(图2),提高了优质医疗资源的覆盖率凹,该 系统于2017年4月已投入临床试验。此后,关于眼 部疾病自动诊断的AI成果不断涌现2。2017年 全球多人种、多中心的三大眼底病自动筛查平台 出炉,从此形成了眼底病诊断的闭合回路,并且 达到了临床应用标准时。2018年,张康团队运用 B 谷歌 Tensor Flow和 Inception V3模型,从4686例 图1胃癌病理切片识别流程及示例 患者的眼部光学相干断层扫描( optical coherence ples of pat tomography,OCT)数据中选取108312张二维断 ection of gastric cancer recognized by Al 层图像进行模型训练,结果显示可有效诊断黄斑变 A: dentification process and presentation of pathological性和糖尿病性视网膜病变,也达到了专家水平。 section of gastric cancer; B: Representative images of a same 深度学习技术改变了医学研究人员处理分析图像 slide by H-E staining, labeling and Al recognition. Al: Artificial 的方式,甚至有助于他们发现从未触及的现象吗。 2018年,谷歌 Deep Mind团队使用眼底照片配合 基于病理AI的治疗和预后评估也大有作为。深度学习技术预测心脏病的危险因素,预测效果优 肿瘤间质比( tumor-stroma ratio,TSR)是评估乳异。同时,美国IDx公司的AI糖尿病性视网膜 腺癌、宫颈癌及食管癌等多种恶性肿瘤的独立预病变临床诊断系统已接受美国食品药品监督管理局 后预测因子,但不同经验的病理医师的TSR评估( Food and Drug Administration,FDA)的审查, 结果存在较大差异,精确度欠佳,而基于AI的离正式进入临床应用更进一步 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
· 360 · 第二军医大学学报 2018 年 4 月，第 39 卷 例肺腺癌和肺鳞状细胞癌组织切片的数字图像和 294 例组织芯片（tissue microarray，TMA）数据库 的图像，从这些图像中抽取了 9 879 个定量特征， 随后用机器学习算法选取排名靠前的特征，发现这 些特征能较好地预测肺腺癌和肺鳞状细胞癌患者的 生存时间，评估肺癌患者预后[4]。 鉴于 AI 在肿瘤细胞识别中的可行性，后续大量 研究集中于各类型肿瘤的病理诊断，包括宫颈癌、 胃癌、肠癌、肺癌、胆管癌等[4-9]。宫颈癌筛查是基 于细胞学的病理诊断，细胞学识别可操作性强、假 阴性率低，通过 AI 筛选出异型或疑似细胞，然后由 病理医师最终诊断，这样能显著提高诊断效率、减 少误诊率、降低人力成本，有望广泛用于宫颈癌的 筛查。上海大数据联盟举办的胃癌病理切片 AI 大赛 中，第 1 名诊断的 AUC 为 0.910 9；大赛病理切片标 注方于观贞团队也参与了这项工作（图 1），同时在 标注过程中发现了我国病理 AI 中应注意的问题，并 撰写了肿瘤细胞标注的流程和注意事项[2]。 图 1 胃癌病理切片识别流程及示例 Fig 1 Procedures and examples of pathological section of gastric cancer recognized by AI A: Identification process and presentation of pathological section of gastric cancer; B: Representative images of a same slide by H-E staining, labeling and AI recognition. AI: Artificial intelligence TSR 可以精确到小数。淋巴细胞在肿瘤中的分布 及其与肿瘤细胞的距离与肿瘤患者的免疫状态和 免疫治疗密切相关，肉眼难以评估，而 AI 能轻易 显示淋巴细胞在肿瘤中的空间分布状态。此外， AI 还有助于评估免疫组织化学指标，而后者主要 用于肿瘤鉴别诊断和靶向治疗。人表皮生长因子 受体 2（human epidermal growth factor receptor 2， HER2）是胃癌和乳腺癌的重要靶点之一，准确评 估 HER2 水平有助于肿瘤患者的治疗，而基于 AI 的 HER2 自动评分系统已初步显示出其优越性[6]。 1.2 AI 与眼部疾病 眼部疾病的检查多依赖光学 设备对眼表和眼底影像的抓取，在眼底病方面，青 光眼、黄斑变性和糖尿病性视网膜病变是最常见的 不可逆致盲眼底病。2016 年，谷歌 DeepMind 团 队发表了糖尿病性视网膜病变的 AI 筛查研究，基 于谷歌 TensorFlow 和 Inception V3 模型进行训练， 最终 AI 诊断准确率超过了眼科专家[10]。先天性白 内障是罕见的眼部疾病，中山大学眼科中心林浩 添和西安电子科技大学刘西洋团队在仅使用少量样 本的情况下，对图像使用霍夫变换等方法进行预 处理，提取感兴趣区域，然后采用迁移学习的方 法基于 Caffe 和 AlexNet 模型进行训练，最终诊断准 确率达到专家水平，并且建立了云筛查诊断平台 CCCruiser（图 2），提高了优质医疗资源的覆盖率[11]，该 系统于 2017 年 4 月已投入临床试验。此后，关于眼 部疾病自动诊断的 AI 成果不断涌现[12]。2017 年， 全球多人种、多中心的三大眼底病自动筛查平台 出炉，从此形成了眼底病诊断的闭合回路，并且 达到了临床应用标准[13]。2018 年，张康团队运用 谷歌 TensorFlow 和 Inception V3 模型，从 4 686 例 患者的眼部光学相干断层扫描（optical coherence tomography，OCT）数据中选取 108 312 张二维断 层图像进行模型训练，结果显示可有效诊断黄斑变 性和糖尿病性视网膜病变，也达到了专家水平[14]。 深度学习技术改变了医学研究人员处理分析图像 的方式，甚至有助于他们发现从未触及的现象[15]。 2018 年，谷歌 DeepMind 团队使用眼底照片配合 深度学习技术预测心脏病的危险因素，预测效果优 异[16]。同时，美国 IDx 公司的 AI 糖尿病性视网膜 病变临床诊断系统已接受美国食品药品监督管理局 （Food and Drug Administration，FDA）的审查[17]， 离正式进入临床应用更进一步。 基于病理 AI 的治疗和预后评估也大有作为。 肿瘤间质比（tumor-stroma ratio，TSR）是评估乳 腺癌、宫颈癌及食管癌等多种恶性肿瘤的独立预 后预测因子，但不同经验的病理医师的 TSR 评估 结果存在较大差异，精确度欠佳，而基于 AI 的
第4期.于观贞,等.人工智能在临床医学中的应用与思考 61 CC-Cruiser intelligence 品品 Chlmicgraphi informtion c Cloud database Contact information Patients with"surgery"result Regular check 断” fication to patients med as needing Cases from collaborative hospital Experts at CCPMOH 图2基于云的多医院AI平台 Fig 2 Acloud-based AI platform of multi-hospital 2 Al: Artificial intelligence; CCPMOH: Childhood cataract program of the Chinese Ministry of Health 1.3AI与皮肤疾病由于皮肤的外露特性,皮肤表皮恶性病变(角质细胞癌)与良性病变(良性脂 疾病的影像资料大多相对容易获取,这为皮肤病的溢性角化病)或黑素细胞病变(恶性黑素瘤与良性 AI自动诊断提供了便利。美国斯坦福大学 Esteva痣)方面的一致性。图3B显示了一些示例图像, 1使用包含2032种不同皮肤病的129450张可见具有许多视觉特征的恶性和良性病变难以区 临床图像数据集(图3A),基于谷歌 Tensor Flow分。研究人员从斯坦福大学医学院请来21位皮肤 和 Inception V3模型进行迁移学习,其工作中对皮病专家进行测试,结果显示AI取得了与皮肤病专 肤癌、黑素瘤的诊断准确率均达到90%以上。为了家同等的成绩。该研究成果已经可以作为智能手 最终验证该算法,研究人员还使用病理检查证实的机应用,即仅通过手机就能有效检测是否患有皮肤 1942张皮肤图片,比较算法和皮肤科医师在区分癌,大大节省了医疗检测成本。 Epidermal lesions Melanocytic lesions endoscopy 图3皮肤病树状结构分类的顶部子集和典型病例 Fig 3 Top subset of classification of dermatological tree structures and representative images A: Complete classification contains 2 032 diseases; B: Malignant and benign sample images from two diseases 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
第 4 期．于观贞，等．人工智能在临床医学中的应用与思考 · 361 · 图 2 基于云的多医院 AI 平台[12] Fig 2 A cloud-based AI platform of multi-hospital[12] AI: Artificial intelligence; CCPMOH: Childhood cataract program of the Chinese Ministry of Health 表皮恶性病变（角质细胞癌）与良性病变（良性脂 溢性角化病）或黑素细胞病变（恶性黑素瘤与良性 痣）方面的一致性。图 3B 显示了一些示例图像， 可见具有许多视觉特征的恶性和良性病变难以区 分。研究人员从斯坦福大学医学院请来 21 位皮肤 病专家进行测试，结果显示 AI 取得了与皮肤病专 家同等的成绩[18]。该研究成果已经可以作为智能手 机应用，即仅通过手机就能有效检测是否患有皮肤 癌，大大节省了医疗检测成本。 图 3 皮肤病树状结构分类的顶部子集和典型病例[18] Fig 3 Top subset of classification of dermatological tree structures and representative images[18] A: Complete classification contains 2 032 diseases; B: Malignant and benign sample images from two diseases 1.3 AI 与皮肤疾病 由于皮肤的外露特性，皮肤 疾病的影像资料大多相对容易获取，这为皮肤病的 AI 自动诊断提供了便利。美国斯坦福大学 Esteva 团队[18] 使用包含 2 032 种不同皮肤病的 129 450 张 临床图像数据集（图 3A），基于谷歌 TensorFlow 和 Inception V3 模型进行迁移学习，其工作中对皮 肤癌、黑素瘤的诊断准确率均达到 90% 以上。为了 最终验证该算法，研究人员还使用病理检查证实的 1 942 张皮肤图片，比较算法和皮肤科医师在区分
第二军医大学学报2018年4月,第39卷 14AI与医学影像自医学影像数字化以来,研而经验在AI中的实质是一种知识,可以作为机器 究人员一直致力于计算机辅助诊断系统( computer-学习的训练数据;(2)中医的核心晢学是辨证 aided diagnosis,CAD)的研究。从基于规则的专论治,这一思想恰好契合了机器学习的基本规 家系统到手工特征,再到如今火热的深度学习,则,即在训练模型基础上通过输入集给出目标值。 已有许多方法被成功运用于多种医学影像,其中 具体来说,可以将中医临床处方、古代方 CT、MRI是关注度最高的图像类型1。 Brosch和剂、名医医案和中医古籍等知识整合、预处理后作 Taml利用受限玻尔兹曼机来判断患者是否患有阿为机器学习的训练数据集,构建类似 IBM Watson 尔茨海默病。在深度学习的推动下,基于脑部MRI的医疗健康认知平台。认知平台集合了中医的海 的阿尔茨海默病分类准确度已达到91.67%2。在诊量知识,使每位中医师可以学习、应用包括名老中 断结果可解释性方面, Zintgraf等四提出了预测差医知识在内的中医知识,辅助经验缺乏的中医师进 异响应分析的方法,对MRⅠ图像诊断人类免疫缺行临床决策,提升服务能力。复旦大学张彦春课题 陷病毒( human immunodeficiency virus,HV)的组圆构建了 THCluster模型,将收集整理的古代医 输出结果进行了可视化解释。 案、专家临床处方和中医药典通过中文自然语言技 2017年上半年, Haggle社区举办数据碗竟赛,术处理,利用异构信息网络将非结构化文本数据转 推动了AI在肺部CT图像方面的研究2017化为结构化图结构。然后利用受限的随机游走思想 年,美国 Arterys公司的A辅助心脏MRI成像系统计算节点间的连接概率,利用已知连接概率构建节 成为首个通过美国FDA认证的AI辅助诊断系统;点的后验概率,并使用最大期望算法估计参数得到 2018年,该公司的AⅠ辅助实体肿瘤影像筛查平台后验概率。最终通过概率值得到中药、症状和疾病 通过美国FDA认证,可帮助临床医师快速测量和追间的多元关系。模型具体技术框架图如图4所示 踪MR和CT图像中的肝脏和肺的病灶及结节。 构建的原型系统可为医师提供辅助诊断服务。 超声图像也是AI的研究热点之一,其操作安 全、快速、实时、价格低廉,广泛应用于乳腺癌 Heterogeneous TCM nformation network 等疾病筛查。2016年美国 QView Medical公司的 基于神经网络的3D自动乳房超声筛查CAD系统 通过美国FDA认证,该系统可缩短医师的读片时 ③ +Disease 间,同时保持诊断的准确性。 Function 尽管基于AI的图像处理系统取得了许多令人兴 eous 奋的结果,但这些系统仍有改进空间,如何提高系 unstructural dataset 统的效率、可解释性和安全性尚需要进一步研究。 1.5AI与中医药传统中医邂逅AI,从传统中医 图4 THCluster技术框架图 针灸、推拿等行业O20( online to offline)平台的 Fig 4 Technical frame of THCluster 30 兴起,到普通病、常见病的中医在线咨询和问诊服 TCM: Traditional Chinese medicine: NLP: Neuro-linguistic programming: EM: Expectation maximization 务,再到互联网中医馆,中医的智能化传承和发展 模式正如雨后春笋般出现。 16AI与心电监测心电图数据是临床和日常护理 传统中医存在传承、发展和推广3个比较大中常见的生物医学数据,对于心脏健康相关的临床诊 的痛点。名老中医的传承主要通过设立流派传承基断、监护、手术和日常保健有着重要意义。目前,心 地或名老中医工作室以“人传人”的方式进行,人电数据分析领域也朝着智能化的方向大步迈进 才成长周期长、人为因素大、无法复制;中医缺乏 AI技术可用于各类心脏疾病的临床辅助诊断 足够的临床数据,只能停留在“传承不易、发展更和健康风险评估。例如特征波形挖掘技术不仅可诊 难”的阶段。AI的发展有望成为剔除传统中医传断各类心脏疾病,也可同时检测出作为诊断依据的 承痛点的“手术刀”。AI驱动传统中医传承具备两特征波形(图5),从而方便医学专家对诊断结果 大优势:(1)中医一般被认为是一种经验医学,进行核实和进一步分析;通过分析心电图中噪声 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
· 362 · 第二军医大学学报 2018 年 4 月，第 39 卷 1.4 AI 与医学影像 自医学影像数字化以来，研 究人员一直致力于计算机辅助诊断系统（computeraided diagnosis，CAD）的研究。从基于规则的专 家系统到手工特征，再到如今火热的深度学习， 已有许多方法被成功运用于多种医学影像，其中 CT、MRI 是关注度最高的图像类型[19]。Brosch 和 Tam[20]利用受限玻尔兹曼机来判断患者是否患有阿 尔茨海默病。在深度学习的推动下，基于脑部 MRI 的阿尔茨海默病分类准确度已达到 91.67%[21]。在诊 断结果可解释性方面， Zintgraf 等[22]提出了预测差 异响应分析的方法，对 MRI 图像诊断人类免疫缺 陷病毒（human immunodeficiency virus，HIV）的 输出结果进行了可视化解释。 2017 年上半年，Kaggle 社区举办数据碗竞赛， 推动了 AI 在肺部 CT 图像方面的研究[23]。2017 年，美国 Arterys 公司的 AI 辅助心脏 MRI 成像系统 成为首个通过美国 FDA 认证的 AI 辅助诊断系统[24]； 2018 年，该公司的 AI 辅助实体肿瘤影像筛查平台 通过美国 FDA 认证，可帮助临床医师快速测量和追 踪 MRI 和 CT 图像中的肝脏和肺的病灶及结节[25]。 超声图像也是 AI 的研究热点之一，其操作安 全、快速、实时、价格低廉，广泛应用于乳腺癌 等疾病筛查。2016 年美国 QView Medical 公司的 基于神经网络的 3D 自动乳房超声筛查 CAD 系统 通过美国 FDA 认证，该系统可缩短医师的读片时 间，同时保持诊断的准确性[26]。 尽管基于 AI 的图像处理系统取得了许多令人兴 奋的结果，但这些系统仍有改进空间，如何提高系 统的效率、可解释性和安全性尚需要进一步研究。 1.5 AI 与中医药 传统中医邂逅 AI，从传统中医 针灸、推拿等行业 O2O（online to offline） 平台的 兴起，到普通病、常见病的中医在线咨询和问诊服 务，再到互联网中医馆，中医的智能化传承和发展 模式正如雨后春笋般出现[27]。 传统中医存在传承、发展和推广 3 个比较大 的痛点。名老中医的传承主要通过设立流派传承基 地或名老中医工作室以“人传人”的方式进行，人 才成长周期长、人为因素大、无法复制；中医缺乏 足够的临床数据，只能停留在“传承不易、发展更 难”的阶段。AI 的发展有望成为剔除传统中医传 承痛点的“手术刀”。AI 驱动传统中医传承具备两 大优势：（1）中医一般被认为是一种经验医学， 而经验在 AI 中的实质是一种知识，可以作为机器 学习的训练数据；（2）中医的核心哲学是辨证 论治[28]，这一思想恰好契合了机器学习的基本规 则，即在训练模型基础上通过输入集给出目标值。 具体来说，可以将中医临床处方、古代方 剂、名医医案和中医古籍等知识整合、预处理后作 为机器学习的训练数据集，构建类似 IBM Watson 的医疗健康认知平台[29]。认知平台集合了中医的海 量知识，使每位中医师可以学习、应用包括名老中 医知识在内的中医知识，辅助经验缺乏的中医师进 行临床决策，提升服务能力。复旦大学张彦春课题 组[30]构建了 THCluster 模型，将收集整理的古代医 案、专家临床处方和中医药典通过中文自然语言技 术处理，利用异构信息网络将非结构化文本数据转 化为结构化图结构。然后利用受限的随机游走思想 计算节点间的连接概率，利用已知连接概率构建节 点的后验概率，并使用最大期望算法估计参数得到 后验概率。最终通过概率值得到中药、症状和疾病 间的多元关系。模型具体技术框架图如图 4 所示， 构建的原型系统可为医师提供辅助诊断服务。 1.6 AI 与心电监测 心电图数据是临床和日常护理 中常见的生物医学数据，对于心脏健康相关的临床诊 断、监护、手术和日常保健有着重要意义。目前，心 电数据分析领域也朝着智能化的方向大步迈进。 AI 技术可用于各类心脏疾病的临床辅助诊断 和健康风险评估。例如特征波形挖掘技术不仅可诊 断各类心脏疾病，也可同时检测出作为诊断依据的 特征波形（图 5），从而方便医学专家对诊断结果 进行核实和进一步分析[31]；通过分析心电图中噪声 图 4 THCluster 技术框架图[30] Fig 4 Technical frame of THCluster[30] TCM: Traditional Chinese medicine; NLP: Neuro-linguistic programming; EM: Expectation maximization
第4期.于观贞,等.人工智能在临床医学中的应用与思考 63· 蕴含的特征,可以对患者在未来数月内发生严重心广泛应用于泌尿、心血管外科等领域。医师可通 脏异常的风险进行评估間。AI算法可以自动、高效过系统操作携带有双目内镜系统手术臂,通过双眼 地发现医师难以发现的特征,与医师的专业知识优不同的视差图像和真实的三维立体感,更好地感知 势互补,从而实现更有效的临床诊断与评估。 腔内组织的三维分布,使手术视野更清晰、手术效 Characteristic 率更高。 虚拟现实( virtual reality,VR)技术和增强现 实技术的发展可将CT、MRI、超声等不同成像系 统采集的图像渲染在术中的视觉影像中。针对颅内 Leve Standardization 病变穿刺手术,采用MRI技术可在术前获得人脑解 剖、功能和代谢图像,进行术前模拟穿刺,实现术 Delayed T wave 前VR。手术当天将VR信息与患者面部标志进行匹 配,将术前重建的病变、功能区等虚拟信息叠加到 图5特征波形挖掘技术在心电分析中的应用 实际头颅和脑表面,实现术中VR显示,医师可佩戴 Fig 5 Application of signature waveform mining in 眼镜获取真实手术场景视觉信息和虚拟图像信息。 electrocardiogram anal 18AI与肿瘤治疗 IBM Watson是肿瘤治疗领域较 The three electrocardiocycles(left) are divided into two 为知名的诊疗系统,该系统的知识库中包含300多种 categories, and the difference between the two types of waveforms is clearly visible by signature waveform mining and医学期刊、250多种医学书籍和1500万页论文数据 mapping it to the three electrocardiograms (right) 研究,数据定时更新。在系统中输入肿瘤患者的相 关信息,该系统就可以给出基于海量数据分析得出 在重症监护和手术室等场景中,AI技术可用于的治疗方案。该数据集是基于美国 MD Anderson癌症 检测心电波形、周期性等的异常,从而早期发现患中心的数据,不符合中国人群特征。未来的医学A 者的心脏异常,实现监测预警。例如,根据心电数还会整合患者的病理样本特征提取和基因组测序数 据周期性地建模,建好的AI模型能提前检测心电图据。AI技术能够根据中国人群肿瘤疾病特点,结合 的异常到,利用概率图模型可提早发现心电信号临床指南和循证医学证据,发展出一套适合中国肿 中的异常值,深度神经网络可对多达10余种心脏瘤患者的标准治疗和咨询系统,该系统将会针对肿 异常进行专家级的检测。高精度A算法有望在保瘤患者制定个体化、权威的诊疗方案,有助于改善 持高检出率的前提下,解决传统异常监测中高误警各级医疗机构诊治水平的差异 率的弊端,实现心脏异常监测预警技术的新突破。1.9AI与医学科学研究医学科学研究是促进医 近年来,基于智能手机、手表等便携式设备的心学发展的重要手段,对于基础理论的理解以及新 电监测方兴未艾。轻量化的A算法可充分利用便携式技术和新方法的引进与应用具有重要作用。近期 设备有限的存储与计算能力,实现心电数据的简易分来自全球100多个实验室的近150位科学家联合 析,对用户健康状况进行实时评估,为其日常保健提在Naue发表的研究分析了近3000份肿瘤样本的 供参考建议,并在必要时提醒其及时就医。 甲基化数据,用AI系统总结出对中枢神经系统肿 17AI与手术机器人AI手术机器人包括机器人瘤的甲基化认识,得出了82个中枢神经系统甲基 技术、可视化技术、仪器仪表、数据分析4大技化特征,以及9个对照样本的甲基化特征,并将这 术。未来AI手术机器人还需实现自主学习,根据些类型交给随机森林机器学习算法开发出AI决策 3D视觉对病变区点云图像进行三维重建,采用卷系统;随后利用该系统对1104份样本进行传统病 积神经网络对大量三维点云图像进行训练,机器人理分析和AI系统诊断比较,结果显示有604%的 通过图像特征匹配和多传感器数据融合综合技术对样本两者诊断完全一致;15.5%的样本两者诊断一 患者进行手术。 致,但AI认为它们应该属于更小的亚型;12.6% 美国 Intuitive Surgical公司开发的达芬奇手术的样本两者诊断不一致,深度分析发现其中928% 机器人辅助系统是最具代表性的视觉导航系统,其的样本AI诊断正确。该研究表明AI与技术研究 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
第 4 期．于观贞，等．人工智能在临床医学中的应用与思考 · 363 · 蕴含的特征，可以对患者在未来数月内发生严重心 脏异常的风险进行评估[32]。AI 算法可以自动、高效 地发现医师难以发现的特征，与医师的专业知识优 势互补，从而实现更有效的临床诊断与评估。 广泛应用于泌尿、心血管外科等领域[37]。医师可通 过系统操作携带有双目内镜系统手术臂，通过双眼 不同的视差图像和真实的三维立体感，更好地感知 腔内组织的三维分布，使手术视野更清晰、手术效 率更高。 虚拟现实（virtual reality，VR）技术和增强现 实技术的发展可将 CT、MRI、超声等不同成像系 统采集的图像渲染在术中的视觉影像中。针对颅内 病变穿刺手术，采用 MRI 技术可在术前获得人脑解 剖、功能和代谢图像，进行术前模拟穿刺，实现术 前 VR。手术当天将 VR 信息与患者面部标志进行匹 配，将术前重建的病变、功能区等虚拟信息叠加到 实际头颅和脑表面，实现术中 VR 显示，医师可佩戴 眼镜获取真实手术场景视觉信息和虚拟图像信息。 1.8 AI 与肿瘤治疗 IBM Watson 是肿瘤治疗领域较 为知名的诊疗系统，该系统的知识库中包含 300 多种 医学期刊、250 多种医学书籍和 1 500 万页论文数据 研究，数据定时更新。在系统中输入肿瘤患者的相 关信息，该系统就可以给出基于海量数据分析得出 的治疗方案。该数据集是基于美国 MD Anderson 癌症 中心的数据，不符合中国人群特征。未来的医学 AI 还会整合患者的病理样本特征提取和基因组测序数 据。 AI 技术能够根据中国人群肿瘤疾病特点，结合 临床指南和循证医学证据，发展出一套适合中国肿 瘤患者的标准治疗和咨询系统，该系统将会针对肿 瘤患者制定个体化、权威的诊疗方案，有助于改善 各级医疗机构诊治水平的差异。 1.9 AI 与医学科学研究 医学科学研究是促进医 学发展的重要手段，对于基础理论的理解以及新 技术和新方法的引进与应用具有重要作用。近期 来自全球 100 多个实验室的近 150 位科学家联合 在 Nature 发表的研究分析了近 3 000 份肿瘤样本的 甲基化数据，用 AI 系统总结出对中枢神经系统肿 瘤的甲基化认识，得出了 82 个中枢神经系统甲基 化特征，以及 9 个对照样本的甲基化特征，并将这 些类型交给随机森林机器学习算法开发出 AI 决策 系统；随后利用该系统对 1 104 份样本进行传统病 理分析和 AI 系统诊断比较，结果显示有 60.4% 的 样本两者诊断完全一致；15.5%的样本两者诊断一 致，但 AI 认为它们应该属于更小的亚型；12.6% 的样本两者诊断不一致，深度分析发现其中 92.8% 的样本 AI 诊断正确[38]。该研究表明 AI 与技术研究 在重症监护和手术室等场景中，AI 技术可用于 检测心电波形、周期性等的异常，从而早期发现患 者的心脏异常，实现监测预警。例如，根据心电数 据周期性地建模，建好的 AI 模型能提前检测心电图 的异常[33-34]，利用概率图模型可提早发现心电信号 中的异常值[35]，深度神经网络可对多达 10 余种心脏 异常进行专家级的检测[36]。高精度 AI 算法有望在保 持高检出率的前提下，解决传统异常监测中高误警 率的弊端，实现心脏异常监测预警技术的新突破。 近年来，基于智能手机、手表等便携式设备的心 电监测方兴未艾。轻量化的 AI 算法可充分利用便携式 设备有限的存储与计算能力，实现心电数据的简易分 析，对用户健康状况进行实时评估，为其日常保健提 供参考建议，并在必要时提醒其及时就医。 1.7 AI 与手术机器人 AI 手术机器人包括机器人 技术、可视化技术、仪器仪表、数据分析 4 大技 术。未来 AI 手术机器人还需实现自主学习，根据 3D 视觉对病变区点云图像进行三维重建，采用卷 积神经网络对大量三维点云图像进行训练，机器人 通过图像特征匹配和多传感器数据融合综合技术对 患者进行手术。 美国 Intuitive Surgical 公司开发的达芬奇手术 机器人辅助系统是最具代表性的视觉导航系统，其 图 5 特征波形挖掘技术在心电分析中的应用 Fig 5 Application of signature waveform mining in electrocardiogram analysis The three electrocardiocycles (left) are divided into two categories, and the difference between the two types of waveforms is clearly visible by signature waveform mining and mapping it to the three electrocardiograms (right)
364 第二军医大学学报2018年4月,第39卷 结合可使肿瘤分类更完善,有助于实施更准确的、 RUBIN D L, et al. Predicting non-small cell lung cancer 针对性的治疗方案。 prognosis by fully automated microscopic pathology 此外,基于动物模型的药效评估和基于人体病 image features[J/OL). Nat Commun, 2016, 7: 12474. doi: 10.1038/ comms12474. 理样本的免疫组织化学分析也需要A的参与。目前 HOLTEN-ROSSING H. TALMAN MM. JYLLING AM 对于科研中病理切片的评估主要依靠病理医师的光 B. LAENKHOLMA V KRISTENSSON M VAINER B. 镜下描述和判断,具有很强的主观性和偏向性,采 Application of automated image analysis reduces the workload 用深度学习算法获取动物模型疾病特点或免疫组织 of manual screening of sentinel lymph node biopsies in breast 化学特点,必将颠覆科学研究领域的评判标准。 cancer[]. Histopathology, 2017, 71: 866-873 (6 QAISER T, MUKHERJEEA, REDDY PB C, MUNUGOTI 2问题与展望 SD. TALLAM V, PITKAAHO T, et al. HER2 challenge contest: a detailed assessment of automated HER2 scoring 目前医疗领域A的应用存在两大问题:(1)样本 algorithms in whole slide images of breast cancer tissues[J]. 数量少、标记质量差。目前用于AI算法训练的数 Histopathology, 2018, 72: 227-238 [7 YOSHIDA H, SHIMAZU T, KIYUNA T, MARUGAME 据量不够多,也缺乏大量资深医师参与样本的标 A. YAMASHITA Y COSATTO E et al automated 注,这种没有大数量、高质量的训练集直接导致 histological classification of whole-slide images of gastric AI算法的准确率和实用性无法满足临床应用的需 biopsy specimens[J. Gastric Cancer, 2018, 21: 249-257 求。(2)与医疗实际需求和应用场景脱节。由于81 YOSHIDA H, YAMASHITA Y, SHIMAZU T, COSATTO 缺乏大数量、高质量的训练集,AI企业一般只能 E. KIYUNAT TANIGUCHI H. et al. Automated histological classification of whole slide images of 根据现有样本开展具体算法和应用,而无法落地医 colorectal biopsy specimens[J]. Oncotarget, 2017, 8 院,不能满足实际临床和科研需求。 随着AI技术的发展及其与医疗需求、医疗 ZADEH SHIRAZIA, SEYYED MAHDAVI CHABOK S 场景更紧密的结合,AI有望承担部分枯燥重复工 J, MOHAMMADI Z A novel and reliable computational 作,提升医师的工作效率,有望缓解医师短缺的困 intelligence system for breast cancer detection[J/OLI Med Biol Eng Comput, 2017 Sep 11. doi: 10.1007/ 境;提升诊断与治疗准确率,促进优质医疗资源的 s11517-017-1721-z 优化配置和推动三级分诊、医联体的高效运转;提[0 GULSHAN V PENG L. CORAM M, STUMPE M C 供大规模定量分析,推动医疗诊断进入量化分析的 WU D, NARAYANASWAMY A, et al. Development 新高度,并催生出新的诊断方法与治疗方案。 and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs[JI 参考文献 JAMA,2016,316:24022410 [11 LONG E, LIN H, LIU Z, WU X WANG L, JIANG J, et al. An 1 MILLER DD, BROWN E W. Artificial intelligence in artificial intelligence platform for the multihospital collaborative medical practice: the question to the answer? J]. Am J management of congenital cataracts(J/OL. Nat Biomed Eng, Med,2018,131:129-133 2017,1:0024.doi:10.1038s41551-0160024 2]于观贞,魏培莲陈颖朱明华.人工智能在肿瘤病理12 GARGEYA R, LENG T. Automated identification 诊断和评估中的应用与思考J.第二军医大学学 of diabetic retinopathy using deep learning JI 报2017,38:1349-1354 Ophthalmology, 2017, 124: 962-969 YU G Z, WEI P L, CHEN Y, ZHU M H Artificial [13 TING D S W, CHEUNG C Y, LIM G, TAN G S W, intelligence in pathological diagnosis and assessment of QUANGND, GAN A, et al. Development and validation human solid tumor: application and thinking[J]. Acad J of a deep learning system for diabetic retinopathy and Sec Mil Med Univ 2017. 38: 1349-1354 related eye diseases using retinal images from multieth I EHTESHAMI BEJNORDI B, VETA M, JOHANNES populations with diabetes[J]. JAMA, 2017, 318: 2211-2223 VAN DIEST P, VAN GINNEKEN B, KARSSEMELJER [14 KERMANY D S GOLDBAUM M, CAI W, VALENTIM N, LITJENS G, et al. Diagnostic assessment of deep CC S, LIANG H, BAXTER S L, et al. Identifying learning algorithms for detection of lymph node medical diagnoses and treatable diseases by image-l metastases in women with breast cancer[J. JAMA, 2017, deep learning[J]. Cell, 2018, 172: 1122-1131e9 318:2199-2210 016/cl2018.02010 [4] YU KH, ZHANG C, BERRY G J, ALTMANR B, RE C. [15] MAXMEN A Deep learning sharpens views of cells and 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
· 364 · 第二军医大学学报 2018 年 4 月，第 39 卷 结合可使肿瘤分类更完善，有助于实施更准确的、 针对性的治疗方案。 此外，基于动物模型的药效评估和基于人体病 理样本的免疫组织化学分析也需要 AI 的参与。目前 对于科研中病理切片的评估主要依靠病理医师的光 镜下描述和判断，具有很强的主观性和偏向性，采 用深度学习算法获取动物模型疾病特点或免疫组织 化学特点，必将颠覆科学研究领域的评判标准。 2 问题与展望 目前医疗领域 AI 的应用存在两大问题：（1）样本 数量少、标记质量差。目前用于 AI 算法训练的数 据量不够多，也缺乏大量资深医师参与样本的标 注，这种没有大数量、高质量的训练集直接导致 AI 算法的准确率和实用性无法满足临床应用的需 求。（2）与医疗实际需求和应用场景脱节。由于 缺乏大数量、高质量的训练集，AI 企业一般只能 根据现有样本开展具体算法和应用，而无法落地医 院，不能满足实际临床和科研需求。 随着 AI 技术的发展及其与医疗需求、医疗 场景更紧密的结合， AI 有望承担部分枯燥重复工 作，提升医师的工作效率，有望缓解医师短缺的困 境；提升诊断与治疗准确率，促进优质医疗资源的 优化配置和推动三级分诊、医联体的高效运转；提 供大规模定量分析，推动医疗诊断进入量化分析的 新高度，并催生出新的诊断方法与治疗方案。 [参 考 文 献] [1] MILLER D D, BROWN E W. Artificial intelligence in medical practice: the question to the answer?[J]. Am J Med, 2018, 131: 129-133. [2] 于观贞,魏培莲,陈颖,朱明华. 人工智能在肿瘤病理 诊断和评估中的应用与思考[J]. 第二军医大学学 报,2017,38:1349-1354. YU G Z, WEI P L, CHEN Y, ZHU M H. Artificial intelligence in pathological diagnosis and assessment of human solid tumor: application and thinking[J]. Acad J Sec Mil Med Univ, 2017, 38: 1349-1354. [3] EHTESHAMI BEJNORDI B, VETA M, JOHANNES VAN DIEST P, VAN GINNEKEN B, KARSSEMEIJER N, LITJENS G, et al. Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer[J]. JAMA, 2017, 318: 2199-2210. [4] YU K H, ZHANG C, BERRY G J, ALTMAN R B, RÉ C, RUBIN D L, et al. Predicting non-small cell lung cancer prognosis by fully automated microscopic pathology image features[J/OL]. Nat Commun, 2016, 7: 12474. doi: 10.1038/ncomms12474. [5] HOLTEN-ROSSING H, TALMAN M M, JYLLING A M B, LAENKHOLM A V, KRISTENSSON M, VAINER B. Application of automated image analysis reduces the workload of manual screening of sentinel lymph node biopsies in breast cancer[J]. Histopathology, 2017, 71: 866-873. [6] QAISER T, MUKHERJEE A, REDDY PB C, MUNUGOTI S D, TALLAM V, PITKÄAHO T, et al. HER2 challenge contest: a detailed assessment of automated HER2 scoring algorithms in whole slide images of breast cancer tissues[J]. Histopathology, 2018, 72: 227-238. [7] YOSHIDA H, SHIMAZU T, KIYUNA T, MARUGAME A, YAMASHITA Y, COSATTO E, et al. Automated histological classification of whole-slide images of gastric biopsy specimens[J]. Gastric Cancer, 2018, 21: 249-257. [8] YOSHIDA H, YAMASHITA Y, SHIMAZU T, COSATTO E, KIYUNA T, TANIGUCHI H, et al. Automated histological classification of whole slide images of colorectal biopsy specimens[J]. Oncotarget, 2017, 8: 90719-90729. [9] ZADEH SHIRAZI A, SEYYED MAHDAVI CHABOK S J, MOHAMMADI Z. A novel and reliable computational intelligence system for breast cancer detection[J/OL]. Med Biol Eng Comput, 2017 Sep 11. doi: 10.1007/ s11517-017-1721-z. [10] GULSHAN V, PENG L, CORAM M, STUMPE M C, WU D, NARAYANASWAMY A, et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs[J]. JAMA, 2016, 316: 2402-2410. [11] LONG E, LIN H, LIU Z, WU X, WANG L, JIANG J, et al. An artificial intelligence platform for the multihospital collaborative management of congenital cataracts[J/OL]. Nat Biomed Eng, 2017, 1: 0024. doi: 10.1038/s41551-016-0024. [12] GARGEYA R, LENG T. Automated identification of diabetic retinopathy using deep learning[J]. Ophthalmology, 2017, 124: 962-969. [13] TING D S W, CHEUNG C Y, LIM G, TAN G S W, QUANG N D, GAN A, et al. Development and validation of a deep learning system for diabetic retinopathy and related eye diseases using retinal images from multiethnic populations with diabetes[J]. JAMA, 2017, 318: 2211-2223. [14] KERMANY D S, GOLDBAUM M, CAI W, VALENTIM C C S, LIANG H, BAXTER S L, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning[J]. Cell, 2018, 172: 1122-1131.e9. doi: 10.1016/j.cell.2018.02.010. [15] MAXMEN A. Deep learning sharpens views of cells and
第4期.于观贞,等.人工智能在临床医学中的应用与思考 65 genes[]. Nature, 2018, 553: 9-10 breast-ulltrasound-screening-300367629. html. [16] POPLIN R, VARADARAJAN A V, BLUMER K, LIU, [271 ZHOU X, PENG Y, LIU B. Text mining for traditional MCCONNELL M V CORRADO G S et al. Prediction of Chinese medical knowledge discovery: a survey]. J cardiovascular risk factors from retinal fundus photographs Biomed Inform. 2010. 43: 650-660 via deep learning [J]. Nat Biomed Eng, 2018, 2: 158-164 [28 LI Y, LI H, WANG Q, WANG C, FAN X. Traditional [17] SCUDELLARI M. AI diagnostics move into the Chinese medicine formula evaluation using multi clinic[EB/OL].(2018-02-16)[2018-03-151.htps:∥ instance multi-label framework[ J|. IEEE Int Conf spectrum. ieee. org/the-human-os/biomedical/diagnostics/ Bioinform Biomed, 2017: 484-488 ai-diagnastics-move-into-the-clinic. 129 YANG K, ZHANG R, HE L, LI Y, LIU W, YU C, et al. 18 ESTEVA A, KUPREL B, NOVOA R A, KO J, SWETTER multistage analysis method for detection of effective herb SM, BLAU H M. Dermatologist-level classification of prescription from clinical data(J/OL]. Front Med, 2017 Jun skin cancer with deep neural networks[J|. Nature, 2017 14.doi:10.1007/s11684017-05258 542:115-118. 30 RUAN C, WANG Y, ZHANG Y, MA J, CHEN H [19 LITJENS G, KOOIT, BEINORDIB E, SETIO AAA, CIOMPI AICKELIN U, et al. THCluster: herb supplements F, GHAFOORIAN M, et al. A survey on deep learning in tegorization for precision traditional Chinese medicine[Cl// medical image analysis[]. Med Image AnaL, 2017, 42: 60-88 IEEE International Conference on bioinformatics and [20 BROSCH T, TAM R; Initiative for the Alzheimers Biomedicine. USA: IEEE, 2017: 417-424 Disease Neuroimaging Manifold learning of brain MRIs [31] YE L, KEOGH E. Time series shapelets: a new prim by deep learning[J]. Med Image Comput Comput Assist for data mining C/OL]. ACM SIGKDD, 2009: 947 ntery.2013.16(Pt2):633-640 10.1145/1557019.1557122 [21] LIU S, LIU S, CAI W, CHE H, PUJOL S, KIKINIS R, [32] CHIA C C, SYED Z. Scalable noise mining in long-term et al; ADNL. Multimodal neuroimaging feature learning electrocardiographic time-series to predict death following for multiclass diagnosis of Alzheimers disease[J]. IEEE heart attacks[ M]. New York: ACM, 2014: 125-134 Trans Biomed Eng, 2015, 62: 1132-1140 33 HUANG G, ZHANG Y C, CAO J, STEYN M, .21 ZINTGRAF L M, COHEN T S, ADEL T, WELLING TARAPOREWALLA K Online mining abnormal peric M. Visualizing deep neural network decisions: prediction patterns from multiple medical sensor data streams difference analysis(C/OL]. eprint arXiv: 1702.04595, 2017. World Wide Web. 2014. 17: 569-587 [23] LIAO F, LIANG M, LI Z, HU X, SONG S Evaluate the [34] MA J, SUN L, WANG H, ZHANG Y, AICKELIN U malignancy of pulmonary nodules using the 3D deep leaky Supervised anomaly detection in uncertain pseudoperiodic noisy-or network(C/OLJ. eprint arXiv: 1711.08324, 2017 data streams[J]. ACM Trans Int Tech, 2016, 16: 1-20 [24] Arterys receives FDA clearance for the first zero- [35] QIAO Z, HUANG G, HE J, ZHANG P, GUO L, CAO J, footprint medical imaging analytics cloud software et al. Discovering semantics from multiple correlated time with deep learning for cardiac MRI[EB/OL].(2017-02- series stream[C]/Advances in Knowledge Discovery and 9)[2018-03-15].https://www.prnewswire.com/news Data Mining: 17 Pacific-Asia Conference, PAKDD 2013 Gold Coast, Australia, April 14-17, 2013, Proceedings, Part footprint-medical-imaging-analytics-cloud-sofnware II. Springer Berlin Heidelberg, 2013: 509-520 with-deep-learning-for-cardiac-imri-300387880.html. 36 RAJPURKAR P, HANNUN A Y, HAGHPANAHI M [25 Arterys receives first FDa clearance for broad oncology BOURN C, NG A Y. Cardiologist-level arrhythmia imaging suite with deep learning EB/OL].(2018-02-15) detection with convolutional neural networks(C/OLI [2018-03-15].https://www.itnonline.com/content/arterys- eprint arXiv: 1707.01836, 2017 receives-first- da-clearance-oncology-imaging-suite- 37 GENG J, XIE J. Review of three-dimensional endoscopic deep-learning surface imaging techniques[J]. IEEE Sensor J, 2014, 14 [26] QView medical Inc. Announces FDA PMA approval 945-960 for QVCADTM, the first computer aided detection [38] CAPPER D, JONES D T W, SILL M, HOVESTADT (CAD) system for 3D automated breast ultrasound V, SCHRIMPF D, STURM D, et al. DNA methylation- screening|EB/OL.(2016-11-22)[201803-151.htps:∥ based classification of central nervous system tumours] ww.prnewswire.com/news-releases/qview-medical- Nature,2018,555:469-474. inc-announces-fda-pma-approval-for-gvcad-the -first 本文编辑]曾奇峰 computer-aided-detection-cad-system-for-3d-automated 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net
第 4 期．于观贞，等．人工智能在临床医学中的应用与思考 · 365 · genes[J]. Nature, 2018, 553: 9-10. [16] POPLIN R, VARADARAJAN A V, BLUMER K, LIU Y, McCONNELL M V, CORRADO G S, et al. Prediction of cardiovascular risk factors from retinal fundus photographs via deep learning[J]. Nat Biomed Eng, 2018, 2: 158-164. [17] SCUDELLARI M. AI diagnostics move into the clinic[EB/OL]. (2018-02-16) [2018-03-15]. https:// spectrum.ieee.org/the-human-os/biomedical/diagnostics/ ai-diagnostics-move-into-the-clinic. [18] ESTEVA A, KUPREL B, NOVOA R A, KO J, SWETTER S M, BLAU H M. Dermatologist-level classification of skin cancer with deep neural networks[J]. Nature, 2017, 542: 115-118. [19] LITJENS G, KOOI T, BEJNORDI B E, SETIO A A A, CIOMPI F, GHAFOORIAN M, et al. A survey on deep learning in medical image analysis[J]. Med Image Anal, 2017, 42: 60-88. [20] BROSCH T, TAM R; Initiative for the Alzheimers Disease Neuroimaging. Manifold learning of brain MRIs by deep learning[J]. Med Image Comput Comput Assist Interv, 2013, 16(Pt 2): 633-640. [21] LIU S, LIU S, CAI W, CHE H, PUJOL S, KIKINIS R, et al; ADNI. Multimodal neuroimaging feature learning for multiclass diagnosis of Alzheimer’s disease[J]. IEEE Trans Biomed Eng, 2015, 62: 1132-1140. [22] ZINTGRAF L M, COHEN T S, ADEL T, WELLING M. Visualizing deep neural network decisions: prediction difference analysis[C/OL]. eprint arXiv: 1702.04595, 2017. [23] LIAO F, LIANG M, LI Z, HU X, SONG S. Evaluate the malignancy of pulmonary nodules using the 3D deep leaky noisy-or network[C/OL]. eprint arXiv: 1711.08324, 2017. [24] Arterys receives FDA clearance for the first zerofootprint medical imaging analytics cloud software with deep learning for cardiac MRI[EB/OL]. (2017-02- 09) [2018-03-15]. https://www.prnewswire.com/newsreleases/arterys-receives-fda-clearance-for-the-first-zerofootprint-medical-imaging-analytics-cloud-softwarewith-deep-learning-for-cardiac-mri-300387880.html. [25] Arterys receives first FDA clearance for broad oncology imaging suite with deep learning[EB/OL]. (2018-02-15) [2018-03-15]. https://www.itnonline.com/content/arterysreceives-first-fda-clearance-oncology-imaging-suitedeep-learning. [26] QView medical Inc. Announces FDA PMA approval for QVCAD™, the first computer aided detection (CAD) system for 3D automated breast ultrasound screening[EB/OL]. (2016-11-22) [2018-03-15]. https:// www.prnewswire.com/news-releases/qview-medicalinc-announces-fda-pma-approval-for-qvcad-the-firstcomputer-aided-detection-cad-system-for-3d-automatedbreast-ultrasound-screening-300367629.html. [27] ZHOU X, PENG Y, LIU B. Text mining for traditional Chinese medical knowledge discovery: a survey[J]. J Biomed Inform, 2010, 43: 650-660. [28] LI Y, LI H, WANG Q, WANG C, FAN X. Traditional Chinese medicine formula evaluation using multiinstance multi-label framework[J]. IEEE Int Conf Bioinform Biomed, 2017: 484-488. [29] YANG K, ZHANG R, HE L, LI Y, LIU W, YU C, et al. Multistage analysis method for detection of effective herb prescription from clinical data[J/OL]. Front Med, 2017 Jun 14. doi: 10.1007/s11684-017-0525-8. [30] RUAN C, WANG Y, ZHANG Y, MA J, CHEN H, AICKELIN U, et al. THCluster: herb supplements categorization for precision traditional Chinese medicine[C]// IEEE International Conference on Bioinformatics and Biomedicine. USA: IEEE, 2017: 417-424. [31] YE L, KEOGH E. Time series shapelets: a new primitive for data mining[C/OL]. ACM SIGKDD, 2009: 947-956. doi: 10.1145/1557019.1557122. [32] CHIA C C, SYED Z. Scalable noise mining in long-term electrocardiographic time-series to predict death following heart attacks[M]. New York: ACM, 2014: 125-134. [33] HUANG G, ZHANG Y C, CAO J, STEYN M, TARAPOREWALLA K. Online mining abnormal period patterns from multiple medical sensor data streams[J]. World Wide Web, 2014, 17: 569-587. [34] MA J, SUN L, WANG H, ZHANG Y, AICKELIN U. Supervised anomaly detection in uncertain pseudoperiodic data streams[J]. ACM Trans Int Tech, 2016, 16: 1-20. [35] QIAO Z, HUANG G, HE J, ZHANG P, GUO L, CAO J, et al. Discovering semantics from multiple correlated time series stream[C]//Advances in Knowledge Discovery and Data Mining: 17th Pacific-Asia Conference, PAKDD 2013, Gold Coast, Australia, April 14-17, 2013, Proceedings, Part Ⅱ. Springer Berlin Heidelberg, 2013: 509-520. [36] RAJPURKAR P, HANNUN A Y, HAGHPANAHI M, BOURN C, NG A Y. Cardiologist-level arrhythmia detection with convolutional neural networks[C/OL]. eprint arXiv: 1707.01836, 2017. [37] GENG J, XIE J. Review of three-dimensional endoscopic surface imaging techniques[J]. IEEE Sensor J, 2014, 14: 945-960. [38] CAPPER D, JONES D T W, SILL M, HOVESTADT V, SCHRIMPF D, STURM D, et al. DNA methylationbased classification of central nervous system tumours[J]. Nature, 2018, 555: 469-474. [本文编辑] 曾奇峰