行业动态

m6在线登陆·利用人脸图像通过深度学习建立困难插管分类的人工智能

发布时间:2024-05-19 08:10:17 来源:M6官网注册 作者:M6米乐手机登录APP入口

  利用深度学习(CNN)对困难插管进行分类并获得了较好的结果,其为困难气道预警方案提供了新的研究思路。

  在重症监护室和急诊室遇到困难插管并不罕见。困难插管发生在5-27%的病例中,尽管有困难插管的指南,当需要选择一种有效的方法进行紧急气道处理时,回忆和运用它们是具有挑战性的。在紧急情况下,对有插管困难的患者需要立即请求有经验的紧急气道管理医生的技术协助,而不是继续努力插管。临床策略快速、客观地判断患者是否有插管困难是急救气道管理的关键。此外,即使是熟练的医师也很难发现全麻患者存在困难插管。造成这种困难的原因之一是缺乏统一的困难插管风险评估指标。目前已有的评估指标通常是模糊和难以量化的。因此,在紧急情况下评估困难插管的客观措施对于减少可预防的气道危机导致的患者可能突然死亡是至关重要的。近年来,基于卷积神经网络(CNN)的分析方法在医疗领域得到了应用,假设CNN可以使用患者的面部图像来区分困难插管。则不必采用不合理的插管技术,使患者病情加重。《Journal of intensive care》杂志上发表了Tatsuya Hayasaka等人的文章《Creation of an artificial intelligence modelfor intubation difficulty classification bydeep learning (convolutional neuralnetwork) using face images: anobservational study》,该研究通过患者在仰卧位和坐立位时,相机拍摄患者正面基础位张口和闭口,正面仰头位张口闭口,侧面基础位张口和闭口,侧面仰头位张口闭口16张照片结合患者的Cormack-Lehane分级利用深度学习卷积神经网络建立了困难插管分类的人工智能模型。

  利用深度学习卷积神经网络将手术患者的面部图像与实际困难插管联系起来,建立困难插管分类的人工智能模型。

  方法这是一项观察性研究,研究对象为自2020年4月10日起在山形大学医院接受全身并计划手术的患者 ( UMIN 纳入 开始日期:UMIN000040123 ) ,截止到2020年8月31日每位患者均获得书面知情同意 。 排除标准为年龄小于20岁的患者,面部外形发生改变的患者(神经外科、心脏外科、鼻外科、牙科和眼科),颈部活动范围发生改变的患者(甲状腺、颈椎和食管手术),以及由经验少于3年的医生进行插管的患者 。 排除了在初次插管时医生没有使用Macintosh喉镜的患者。排除了使用其他设备插管、使用声门上气道设备、痴呆或不能遵循指示 完成 动作、精神障碍以及因参与其他研究而不能参与本研究的患者。全身诱导后, 医 师使用Macintosh喉镜进行气管插管,评估Cormack-Lehane分 级 并记录在医疗记录中。如果医疗记录中没有报告Cormack-Lehane分 级 , 作者 直接与 医 师确认患者的Cormack-Lehane分 级 。Cormack-Lehane分级的定义(图1)显示了Macintosh喉镜 在 气管插管时声门的可见性。I级表明整个声 门 清晰可见。II级表示只能看到部分声 门 ,III级表示能看到会厌但不能看到声 门 ,IV级表示看不到会厌 。 在本研究中,Cormack-Lehane分 级 评估是在未进行BURP法(向后、向上、向右压力)或 渐变位置 等特殊操作的时间点进行的 。 作者在术后第二天收集患者的年龄、性别、体重指数、 合并症 、MPC、IIG、HNM、TMD、HLM、BT、ULBT等人口统计信息,并拍摄16种不同体位的面部图像(图2)。所有这些图像都以JPEG格式保存,并调整为512px X 512px,以减少过多的特征和计算复杂度。本研究对困难插管的定义为“Cormack-Lehane分级III级及以上”。所有图像都被标记为容易和困难 , Cormack - lehane分级I、II级为非困难插管组(easy组),Cormack分级III、IV级为困难插管组(difficult组) 。

  在获得的图像中, 80%作为训练数据,其余20%作为测试数据进行推理评价。 对训练数据进行扩展,以避免模型的过度学习。 在这样做的过程中,我们通过数据扩展纠正了容易组和困难组之间的病例数量偏差。 对于数据扩展,我们使用深度学习库Keras的ImageDataGenerator来扩展和减少训练数据的0.7倍到1.3倍。 本研究的模型生成过程如图3所示,CNN的整体模型如图4所示。我们使用了两种深度学习方法,迁移学习和微调。迁移学习是一种深度学习技术,通过将使用大数据集创建的训练模型加入到待创建的模型中来提高人工智能模型的准确性。通过迁移学习,我们可以用较少的图像获得我们想要创建的人工智能模型较高的分类精度,因为训练后的模型提取出了良好的特征。在本研究中,我们使用训练模型VGG16,它是从1400万张图像中训练出来的,由16层组成:13个卷积层和3个完全连接层。我们还使用了微调,根据本研究中获得的患者面部图像,将最终输出分为 容 易/ 困 难。本研究的模型是在VGG16得到的13个卷积层中增加1个卷积层,输出是否为输入图像属于容易/困难或不。训练模型后,使用预先分割的图像数据集(测试数据)进行推理评价,验证预测 困难 插管的准确性。我们采用二次交叉熵作为损失函数,Adam作为优化方法,机器训练模型 的 Epochs 为 10-30,Batch Size 为 16-32。评价指标为 模型 的准确性、敏感性、特异性和ROC曲线计算的AUC。生工智能模型后,利用图像数据集进行推理评价,利用 分 类激活 热 图(Grad-CAM)对模型的评价域进行可视化 。

  分类激活热图是根据 容 易/ 困 难分类结果计算每个区域的重要性生成的二维图像。热图上的红色和区域表示AI模型认为 容 易/ 困 难分类重要的区域。将用于推理评价的图像的 分 类激活热图中每个像素的RGB值(红、绿、蓝值)进行组合并取平均值,分别为 容 易组和 困 难组生成单幅图像(RGB平均图像)。 为了减少随机分割图像数据进行训练和推理评估所造成的数据偏差的影响,我们进行了五次交叉验证。此外,在创建5个数据集时,我们使用分层折叠来避免容易组和困难组分布的任何偏差。我们在每个数据集上对模型进行训练和评估,并计算每个数据集的AUC。每个图像模型的结果显示了AUCs的中值。 使用2.24版本的Keras作为深度学习库,使用微软2019版的Visual Studio Code作为开发环境。此外,分析使用的硬件是Intel Core i7 CPU、NVIDIA GeForce RTX 2080 SUPER 8GB GPU和Microsoft Windows 10 Home OS。所有统计分析均采用EZR版本1.41,结果以均数±标准差和数字(百分比)表示。根据构建的模型生成ROC曲线,计算实际困难插管存在与否、准确性、敏感性、特异性、 R OC 曲线 下面积(AUC)。当AUC为0.700,95%置信区间下限0.500时,构建的模型具有足够的诊断能力。结果从2020年4月10日(UMIN注册开始日期)至2020年8月31日,共有1043例患者计划在全身下进行手术。其中752例被排除,75例不能提供知情同意书,9例Cormack-Lehane分级资料缺失,2例重复。共排除838例患者,205例患者符合条件。另外,排除了2例数据差的患者(1例由于毛发的存在导致面部轮廓无法识别,1例图像失焦)和1例由于成像设备问题导致图像丢失的患者。最终纳入202例患者进行分析(图5)。

  在全麻诱导过程中评估的困难插管占26.7% (54 / 202)(表1)。202例患者中,男性92例,女性110例,平均年龄63.9±14.2岁。患者符合美国医师协会身体状况(ASA)I-III级,其中15.8%为ASA I级, 67.8%为ASA II级, 16.3%为ASA III级。医师在全麻期间为病人插管的经验年限为11.2±6.9年。本研究的手术细节见(表2)。此外,26.7%的病例被认为插管困难(表1)。容易插管患者与困难插管患者的数据差异为3:1。在对患者面部图像进行机器学习之前,总数据的20%被保存为测试数据。以KFOLD1为例,容易组30张图像,困难组11张图像保存为测试数据(占总图像的20%)。容易组的剩余118张图像和困难组的43张图像作为训练数据(占总图像的80%)。在训练数据中,容易组扩大3次,困难组扩大9次。最后,容易组有354条训练数据,困难组有387条训练数据(表3)。

  图6显示了仰卧侧面闭口基位的学习曲线。黑线表示训练数据,灰线表示测试数据。测试数据的学习曲线与训练数据的学习曲线一致,说明人工智能模型学习正常。

  数据集1中仰卧侧面闭口基位的人工智能模型在Epoch20的准确率为80.5%(表4)。 根据人工智能模型的预测绘制ROC曲线,对实际插管困难程度进行分类,并将其与患者面部图像获得的插管困难程度联系起来。 计算敏感性、特异性和ROC下面积(AUC)(表5)。 人工智能模型用于对患者面部图像进行插管困难程度分类的AUC范围为0.387[0.168-0.605]~ 0.864[0.731-0.969]。 仰卧侧面闭口基位的AI模型的最大AUC为0.864[0.731-0.969],准确率为80.5%,敏感性为81.8%,特异性为83.3%(图7)。 仰卧侧面张口基位的AI模型的AUC为0.758[0.594-0.921],仰卧侧面闭口仰头位AI模型的AUC为0.727[0.568 - 0.886],可以充分诊断插管困难。

  在使用Grad-CAM进行仰卧侧面闭口基位的分类激活热图中,在容易插管的图像中,视点往往集中在下巴尖到喉部的区域。然而,被分类为困难的图像并没有显示出在特定区域的任何视点集中。在RGB平均图像中,容易组的兴趣区域从下巴尖到喉部有集中的趋势,而困难组的视点有分散的趋势(图8,9)。根据本研究中插管困难和患者实际插管是否困难的各种预测指标构建ROC曲线,并计算其敏感性、特异性和ROC下面积(AUC)(表6)。气管插管困难各预测指标的AUC范围为0.558[0.467-0.649]~ 0.673[0.595-0.750],其中Mallampati分类为最大预测指标。没有单一的指标被发现有足够的诊断能力来区分困难插管的各种预测因素。然而,人工智能模型以仰卧侧面闭口基位图像分类困难插管的AUC为0.864(0.731 - -0.969),准确率80.5%,敏感性为81.8%,特异性为83.3%,表明该模型有足够的诊断能力。

  在本研究中,在通过深度学习创建人工智能模型对困难插管进行分类的过程中,人工智能模型是利用患者拍摄的16种不同的身体姿势的面部图像创建的。插管难度分级的最佳AI模型为仰卧侧面闭口基位,AUC为0.864[0.731-0.969],准确率为80.5%,敏感性为81.8%,特异性为83.3%(表3)。

  为了可视化人工智能模型如何识别困难插管,我们使用Grad-CAM获得了分类激活热图。该人工智能模型能够聚焦在作者的颈部区域,而不关注背景,说明该人工智能模型能够识别人脸轮廓,可能会区分困难插管。热图显示,颈部周围区域倾向于被评估为容易插管患者面部图像的感兴趣区域。在容易平均RGB值图像中,感兴趣区域往往集中在从下巴尖到喉部的区域。这表明,人工智能模型通过提取颈部形状的特征来识别容易插管的患者。在困难组RGB平均图像中,视点趋于分散,提示困难插管患者的面部图像中存在多个因素,如下颌小、肥胖等,而不是单一原因。通过增加未来的数据数量并建立人工智能模型,我们相信可以利用提取的特征创建困难插管热图将困难插管的分类进行细分。我们的观察表。


m6在线登陆
亮照