昨日，傳來醫(yī)療AI界萬眾翹首期盼的消息。

“人工智能類醫(yī)療器械注冊申報公益培訓(xùn)”悄然在北京開幕，整個會議僅持續(xù)一下午，卻隱含了醫(yī)療AI領(lǐng)域所共同關(guān)注的三類器械審批信息，里程碑式的勝利就此展開？

在本次會上，藥監(jiān)局細(xì)致入微的分析了影響醫(yī)療人工智能器械審批的每一個過程，細(xì)化到對每個指標(biāo)進行了詳盡的講解，這是一場名副其實的“AI+醫(yī)療注冊申報培訓(xùn)”。

同時，會上介紹，截至2018年11月底，藥監(jiān)局收到創(chuàng)新特別審批申請1054項，192項同意按照特別程序?qū)徟��?1項創(chuàng)新醫(yī)療器械已通過特別程序獲準(zhǔn)上市。遺憾的是，會上并未透露AI相關(guān)產(chǎn)品過審的信息。

據(jù)相關(guān)人士透露，國家藥品監(jiān)督管理局已經(jīng)理清了AI審批全流程的思路，審批通道已于12月中旬開放，然而，高標(biāo)準(zhǔn)下，還無一企業(yè)進行AI三類器械產(chǎn)品申報。不過，標(biāo)準(zhǔn)出臺后，一切只是時間問題。

在此，動脈網(wǎng)記者對整個會議的內(nèi)容進行了梳理，嘗試幫助醫(yī)療AI的從業(yè)人員理清藥監(jiān)局審批的思路與要點，其內(nèi)容包括主要包括以下四個方面：

一、審批流程；

二、審批要點解讀；

三、肺結(jié)節(jié)、糖網(wǎng)病變的臨床試驗設(shè)計及問題思考；

四、申報材料等其他信息。

第一部分：審批總體思維、原則及流程

醫(yī)療器械注冊是一項行政許可制度，是食品藥品監(jiān)督管理部門根據(jù)醫(yī)療器械注冊申請人的申請，依照法定程序，對其擬上市醫(yī)療器械的安全性、有效性研究及其結(jié)果進行系統(tǒng)評價，以決定是否統(tǒng)一其申請的過程。

從總體思維上看，醫(yī)療器械申報以分類管理為基礎(chǔ)，以風(fēng)險高低為依據(jù)，確定醫(yī)療器械注冊與備案的具體要求，其具體的申報流程如下圖所示：

國家藥品監(jiān)督管理局醫(yī)療器械審批流程圖

第二部分：審批要點解讀

審批要點解讀是本次會議的核心，本次會議系統(tǒng)性的講解了醫(yī)療AI產(chǎn)品在審批過程中所面臨數(shù)據(jù)庫、數(shù)據(jù)安全、軟件更新、產(chǎn)品適用、云計算服務(wù)等問題，涵蓋了人工智能的產(chǎn)品的每一個要素，研究人員甚至可以根據(jù)這一套指標(biāo)設(shè)立明確的評分。

1、適用范圍

按照適用范圍，AI產(chǎn)品可通過下屬三個因素進行分類：

深度學(xué)習(xí)輔助決策醫(yī)療器械軟件：

包括醫(yī)療器械數(shù)據(jù)、深度學(xué)習(xí)、輔助決策、醫(yī)療器械軟件。

軟件類型：

可分為AI獨立軟件（本身即為醫(yī)療器械的AI軟件）

AI軟件組件（醫(yī)療器械內(nèi)含的AI軟件）。

軟件用途：

輔助決策；

輔助篩查、識別、診斷、治療等－非輔助決策；

前處理、流程優(yōu)化、常規(guī)后處理。

2、風(fēng)險考量

風(fēng)險考量即是對AI產(chǎn)品在使用過程中的風(fēng)險進行評價，以達到抑制風(fēng)險，提高AI產(chǎn)品可靠性的目的。主要包括以下兩大類因素的考量。

1． 臨床使用風(fēng)險

假陽性：誤診，過度醫(yī)療風(fēng)險。

假陰性：漏診，快速進展疾病風(fēng)險。

進口軟件：中外差異（人種、流行病學(xué)、臨床診療準(zhǔn)則）。

2． 風(fēng)險管理活動

要素：預(yù)期用途（目標(biāo)疾病、臨床用途、重要程度、緊迫程度）、使用場景（患者人群目標(biāo)用戶、使用場所、臨床流程）、核心功能（處理對象、功能類型）。

措施：設(shè)計、防護、警示。

要求：貫穿于軟件全生命周期過程。

3、需求分析

需求分析以臨床需求與使用風(fēng)險為導(dǎo)向，結(jié)合預(yù)期用途、使用場景和核心功能，綜合考慮法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全等需求。在此情況下，企業(yè)需重點關(guān)注：

1． 數(shù)據(jù)收集：目標(biāo)疾病流行病學(xué)特征，如疾病構(gòu)成（分型、分級、分期）、人群分布（健康狀態(tài)、性別、年齡）、統(tǒng)計指標(biāo)（患病率、治愈率）、并發(fā)癥與類似疾病等。

2． 算法性能：假陽性與假陰性指標(biāo)、重復(fù)性與再現(xiàn)性、魯棒性／健壯性。

3． 臨床使用限制：臨床禁用、慎用等場景。

4、軟件確認(rèn)

軟件確認(rèn)即以提供客觀證據(jù)認(rèn)定軟件滿足用戶需求和預(yù)期目的，包括軟件確認(rèn)測試（用戶測試）、臨床評價（若適用）、評審等系列活動。

臨床評價是此類軟件進行確認(rèn)的主要方式，主要包括兩個原則。

1． 軟件指導(dǎo)原則：基于臨床試驗的臨床評價資料，即軟件的臨床試驗資料或與軟件核心算法具有實質(zhì)等同性的同品種產(chǎn)品臨床試驗資料。

2． 進口軟件：評估中外差異，若存在顯著差異應(yīng)在中國開展臨床試驗；而使用境外臨床試驗數(shù)據(jù)應(yīng)當(dāng)滿足相應(yīng)指導(dǎo)原則要求。

5、臨床試驗

臨床試驗需基于軟件的預(yù)期用途、使用場景和核心功能，按照診斷試驗進行臨床試驗設(shè)計，其核心要點包括以下四項：

1． 試驗設(shè)計：建議優(yōu)先選擇同品種產(chǎn)品或臨床參考標(biāo)佳進行非劣效對照設(shè)計，次之可選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨決策進行優(yōu)效對照設(shè)計；非劣效或優(yōu)效界值的確定應(yīng)有充分臨床依據(jù)。

2． 觀察指標(biāo)：以敏感性、特異性、ROC／AUC為主要指標(biāo) ，亦可選擇時間效率等指標(biāo)作為評價指標(biāo)

3． 入排標(biāo)準(zhǔn)：基于目標(biāo)疾病的流行病學(xué)特征

4． 來源機構(gòu)：異于訓(xùn)練數(shù)據(jù)主要來源機構(gòu)，地域分布盡可能廣泛，機構(gòu)數(shù)量需盡可能多。

6、回顧性研究

為鼓勵創(chuàng)新并降低臨床試驗成本，臨床試驗可使用回顧性數(shù)據(jù)，但應(yīng)在設(shè)計時考慮并嚴(yán)格控制偏倚問題，原則上應(yīng)當(dāng)包含多個不同地域臨床機構(gòu)（非訓(xùn)練數(shù)據(jù)主要來源機構(gòu)）的同期數(shù)據(jù)。

使用原則（基于風(fēng)險），軟件安全性級別判定詳見軟件指導(dǎo)原則：

對于高風(fēng)險軟件：臨床預(yù)試驗或臨床試驗補充。

對于中風(fēng)險次件：臨床預(yù)試驗或替代臨床試驗。

7、軟件更新基本原則

軟件更新應(yīng)當(dāng)考慮對軟件安全性和有效性的影響（正面和負(fù)面），注意軟件更新是導(dǎo)致軟件召回的主要原因之一。

監(jiān)管部門將對以下程度的更新進行監(jiān)管：

重大軟件更新：許可事項變更。

輕微軟件更新：質(zhì)量體系控制，無需申請注冊變更。

軟件版本命名規(guī)則：

明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新應(yīng)當(dāng)列舉全部典型情況，應(yīng)涵蓋算法驅(qū)動型、數(shù)據(jù)驅(qū)動型軟件更新。

8、重大軟件更新要點

常見更新類型包括算法驅(qū)動型更新與數(shù)據(jù)驅(qū)動型更新，算法驅(qū)動型更新包括軟件所用算法、算法結(jié)構(gòu)、算法流程、所用框架、輸入與輸出等發(fā)生改變；數(shù)據(jù)驅(qū)動型指僅由訓(xùn)練數(shù)據(jù)量增加加而促使軟件更新

對于重大軟件更新，判定需遵循以下原則：

1． 算法驅(qū)動型軟件更新通常屬于重大軟件更新。

2． 數(shù)據(jù)驅(qū)動型軟件更新若導(dǎo)致算法評估結(jié)果發(fā)生顯著性改變（與前次注冊相比）則屬于重大軟件更新。

3． 其他類型重大軟件更新的判定準(zhǔn)則詳見軟件指導(dǎo)原則、網(wǎng)絡(luò)安全指導(dǎo)原則

9、驗證與確認(rèn)

無論何種軟件更新，均應(yīng)按照質(zhì)量管理體系要求，開展與軟件更新類型、內(nèi)容和程度相適宜的驗證與確認(rèn)活動。而算法驅(qū)動型和數(shù)據(jù)驅(qū)動型軟件更新均應(yīng)開展算法性能再評估、臨床再評價。

其中，臨床再評價（基于風(fēng)險）包括：

高風(fēng)險軟件：適用范圍變更應(yīng)當(dāng)開展臨床試驗，其他情況原則上可使用回顧性研究。

中低風(fēng)險軟件：可使用回顧性研究。

10、適用范圍擴展

根據(jù)要求，全部AI軟件功能均應(yīng)開展需求分析、數(shù)據(jù)收集（若適用）、算法設(shè)計、 軟件確認(rèn)；每項AI軟件功能應(yīng)獨立開展需求分析、 數(shù)據(jù)收集（若適用）、算法設(shè)計、軟件確認(rèn)。

對于深度學(xué)習(xí)非輔助決策軟件則需遵循以下步驟：

1． 前處理：算法性能評估、臨床評價。

2． 流程優(yōu)化：算法性能評估。

3． 常規(guī)后處理：算法性能評估，必要時臨床評價。

11、第三方數(shù)據(jù)庫

第三方數(shù)據(jù)庫視為回顧性研究一種特殊形式，可用于算法性能評估，但未必能夠完全滿足軟件確認(rèn)的要求。

第三方數(shù)據(jù)庫類型包括測評數(shù)據(jù)庫與非測評數(shù)據(jù)庫。評測數(shù)據(jù)庫可用于軟件確認(rèn)，非測評數(shù)據(jù)庫（如公開數(shù)據(jù)庫）不可用于軟件確認(rèn) 。

12、評測數(shù)據(jù)庫

測評數(shù)據(jù)庫需滿足網(wǎng)絡(luò)與數(shù)據(jù)安全、可擴展性等因素。具體要求如下：

權(quán)威性：數(shù)據(jù)標(biāo)注應(yīng)由相應(yīng)權(quán)威臨床機構(gòu)負(fù)責(zé)。

科學(xué)性：樣本量、樣本分布應(yīng)符合統(tǒng)計學(xué)要求。

規(guī)范性：數(shù)據(jù)治理應(yīng)建立質(zhì)控程序并可追溯。

多樣性：數(shù)據(jù)應(yīng)來源于多個臨床機構(gòu)。

封閉性：應(yīng)封閉管理，且樣本總量遠大于單次測試量。

動態(tài)性：應(yīng)定期更換一定比例數(shù)據(jù)。

13、網(wǎng)絡(luò)與數(shù)據(jù)安全過程控制

無論企業(yè)上市前還是上市后，除考慮軟件自身網(wǎng)絡(luò)安全能力建設(shè)外，企業(yè)還應(yīng)當(dāng)在軟件全生命周期過程中考慮網(wǎng)絡(luò)與數(shù)據(jù)安全過程控制要求，

基本考量指標(biāo)包括：脫敏數(shù)據(jù)轉(zhuǎn)移、封閉與開放網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)接口兼容性、數(shù)據(jù)備份與恢復(fù)。

14、云計算服務(wù)與移動計算終端

云計算服務(wù)應(yīng)明確服務(wù)模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡(luò)安全能力和服務(wù)（質(zhì)量）協(xié)議。

移動計算終端需結(jié)合終端的類型、特點和使用風(fēng)險明確性能指標(biāo)要求。詳見移動器械指導(dǎo)原則、網(wǎng)絡(luò)安全指導(dǎo)原則

15、適用范圍

AI獨立軟件的適用范圍包括以下場景：

1． 明確預(yù)期用途、使用場景和核心功能。

2． 包括但不限于處理對象、目標(biāo)疾病、臨床用途、患者人群、目標(biāo)用戶、使用場所、數(shù)據(jù)采集設(shè)備要求（若適用）、臨床使用限制（若適用）。

AI軟件組件的適用范圍可參照Al獨立軟件要求，并在產(chǎn)品適用范圍中予以體現(xiàn)。

16、研究資料

研究資料包括軟件描述文檔、網(wǎng)絡(luò)安全描述文檔、軟件版本命名規(guī)則．

軟件描述文檔要求核心算法部分應(yīng)當(dāng)結(jié)合本審評要點提供相應(yīng)算法研究資料，以及測試集、公開數(shù)據(jù)庫、測評數(shù)據(jù)庫、回顧性研究、臨床試驗的算法性能評估結(jié)果比較分析資料。

研究資料其他資料應(yīng)當(dāng)提供網(wǎng)絡(luò)與數(shù)據(jù)安全過程控制研究資料、第三方數(shù)據(jù)庫（測評、公開）的基本信息（如名稱、創(chuàng)建者、數(shù)據(jù)量、數(shù)據(jù)分布）和使用情況（如使用量、數(shù)據(jù)分布、比重、資質(zhì)）。

17、說明書

輔助決策軟件應(yīng)明確軟件的適用范圍、臨床使用限制、注意事項、用戶培訓(xùn)、數(shù)據(jù)采集設(shè)備要求、數(shù)據(jù)采集操作規(guī)范、輸入與輸出、算法性能評估總結(jié)（測試集基本信息、評估指標(biāo)與結(jié)果）、臨床評價總結(jié)（臨床數(shù)據(jù)基本信息、評價指標(biāo)與結(jié)果）等信息

深度學(xué)習(xí)輔助決策軟件除上述內(nèi)容外還應(yīng)當(dāng)補充算法訓(xùn)練總結(jié)信息（訓(xùn)練集基本信息、訓(xùn)練指標(biāo)售與結(jié)果）。

第三部分（上）：肺結(jié)節(jié)臨床試驗設(shè)計及問題思考

“肺結(jié)節(jié)的臨床試驗設(shè)計與問題思考”這一議題的內(nèi)容由四川大學(xué)華西醫(yī)院劉倫旭主任制作。肺結(jié)節(jié)一直在醫(yī)療人工智能領(lǐng)域處于核心研究方向，其審批標(biāo)準(zhǔn)的探討已經(jīng)持續(xù)了接近一年之久。然而人工智能的審批本就是一個極其復(fù)雜且極其嚴(yán)謹(jǐn)?shù)膯栴}。劉倫旭主任在會上總結(jié)肺病外科診治臨床問題，嘗試構(gòu)架完善的研究設(shè)計。

基于胸外科領(lǐng)域目前存在的若干實際臨床問題，研究人員應(yīng)從手術(shù)指征判斷、手術(shù)方式選擇和術(shù)后預(yù)后預(yù)測模型三方面構(gòu)建胸外科肺癌診治智能化系統(tǒng)。

手術(shù)指征判定包括：

1． 肺結(jié)節(jié)智能定位和定性識別；

2． 縱隔窗淋巴結(jié)智能定位與定性識別；

3． GGO圖像特征提取與腺癌形成各時期相關(guān)性分析；

4． 多原發(fā)癌和肺內(nèi)轉(zhuǎn)移影像譜特征鑒定和鑒別。

手術(shù)方式選擇：

1． 基于圖像分割和三維重建的肺段可視化及小結(jié)節(jié)定位手術(shù)方式選擇

2． 基于神經(jīng)網(wǎng)絡(luò)的淋巴結(jié)轉(zhuǎn)移精準(zhǔn)預(yù)測

3． 基于胸部影像譜頂測小結(jié)節(jié)STAS和微乳頭成分

術(shù)后預(yù)后預(yù)測：

1． 基干神經(jīng)網(wǎng)絡(luò)的術(shù)后并發(fā)癥預(yù)測模型構(gòu)建

2． 基于多種數(shù)據(jù)類型的肺癌術(shù)后復(fù)發(fā)轉(zhuǎn)移模式、預(yù)后預(yù)測模型構(gòu)建

3． 基于影像類數(shù)據(jù)驅(qū)動基因突變和免疫檢查變化

4． 未知（因PPT缺失）

基于神經(jīng)網(wǎng)絡(luò)的術(shù)后并發(fā)定預(yù)測模型構(gòu)建，官方調(diào)研了8465例接受了手術(shù)治療的肺癌患者，其中1453例發(fā)生術(shù)后并發(fā)癥。

在這其中隨機選取250例術(shù)后發(fā)生并發(fā)癥患者，并選取250例未發(fā)生患者作為測試集；剩余7965例數(shù)據(jù)作為訓(xùn)練集， 在訓(xùn)練集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

經(jīng)過數(shù)據(jù)整理，模型的動態(tài)識別模型效能為88．0％，識別率為81．2％，查全率為73．2％，查準(zhǔn)率為87．14％。這是現(xiàn)階段人工智能產(chǎn)品在臨床中實現(xiàn)的理想數(shù)據(jù)。

第三部分（下）：糖尿病視網(wǎng)膜病變AI輔助診斷臨床試驗設(shè)計中的問題及思考

“糖尿病視網(wǎng)膜病變AI輔助診斷臨床試驗設(shè)計中的問題及思考”由四川大學(xué)華西醫(yī)院劉倫旭主任講解。會上總共提到了三種糖網(wǎng)AI臨床試驗的方法，這里收錄了其中兩種：

1． 以產(chǎn)品有效性為參考，在實際中，AI產(chǎn)品應(yīng)滿足“AI＞醫(yī)生”，若強調(diào)AI對醫(yī)生的輔助作用，則滿足“醫(yī)生＋AI＞醫(yī)生”。

從理論上這是一個很好的臨床評價方法，但實際評價結(jié)果與醫(yī)生水平有很大關(guān)系。在目前臨床試驗下，公司多選取三甲醫(yī)院來做，這導(dǎo)致AI輔助作用被弱化。而基層醫(yī)院的醫(yī)生水平參差不齊，很難設(shè)一個統(tǒng)的標(biāo)準(zhǔn)，所以Al主要的應(yīng)用場景是在基層醫(yī)院／體檢中心的輔助篩查和輔助診斷。

2． 以單組目標(biāo)值作為參考，主要觀察AI產(chǎn)品性能與其聲稱的性能是否一致；是否FDA已經(jīng)批準(zhǔn)的IDX－DR產(chǎn)品采用的臨床試驗方法。與有效性相比，這種方法受人為因素的干擾較小，具有比較好的客觀性。

在這一類AI產(chǎn)品中，企業(yè)必須嚴(yán)格進行數(shù)據(jù)控制，同時考慮諸多不同的場景，如考慮輔助篩查、輔助診斷、隨診分析的流程差異；三甲醫(yī)院、基層醫(yī)院、體檢中心等場景差異；不同場景和機型下的圖片質(zhì)量差異；是否需輔助轉(zhuǎn)診：需要不需要轉(zhuǎn)診等。

第四部分：受理前咨詢、申報材料等其他信息

受理前咨詢?nèi)�稱為醫(yī)療器械注冊受理前技術(shù)問題咨詢，其范圍主要包括醫(yī)療器械注冊申報前的相關(guān)問題，不包含技術(shù)審評過程中的相關(guān)問題。

受理前咨詢申請每周五下午1：00至4：00，地點為北京市西城區(qū)宣武門西大街大成廣場行政受理服務(wù)大廳。

境內(nèi)申請人攜帶：申請人出具的涵蓋相關(guān)委托內(nèi)容的委托書、個人有效身份證件、醫(yī)療器械技術(shù)審評中心咨詢登記表。

境外申請人攜帶：境外申請人指定境內(nèi)企業(yè)法人作為代理人的委托書、境內(nèi)代理人出具的涵蓋相關(guān)委托內(nèi)容的委托書、個人有效身份證件、醫(yī)療器械技術(shù)審評中心咨詢登記表。

申請人（與申請表蓋章單位一致）對委托辦事人員及所辦事項的委托書（見關(guān)于辦理受理和領(lǐng)取批件等行政許可事項的公告（第169號）（附件D），辦事人員需攜帶身份證明原件、復(fù)印件及注冊申報資料。

總結(jié)

關(guān)于AI類醫(yī)療器械創(chuàng)新申請目前還沒有太多的審查經(jīng)驗。會上藥監(jiān)局提到了以下幾點建議：

1． 規(guī)范的醫(yī)療器械產(chǎn)品名稱；

2． 有明確的軟件預(yù)期用途、使用場景、核心功能、運行環(huán)境；

3． 使用的數(shù)據(jù)應(yīng)來自臨床機構(gòu)。且說明來源機構(gòu)及采集要求；

4． 提供算法設(shè)計的相關(guān)資料。包括算法選擇及訓(xùn)練；

5． 提供真實臨床數(shù)據(jù)的軟件驗證資料；

6． 能夠支持產(chǎn)品具有顯著臨床應(yīng)用價值的數(shù)據(jù)資料。

由于審批條件較多，對于當(dāng)前的許多人工智能企業(yè)而言，其中的部分條款可能相對較為苛刻，企業(yè)仍在準(zhǔn)備相關(guān)材料，據(jù)幾家人工智能頭部企業(yè)透露，本次申請過程存在細(xì)節(jié)多、標(biāo)準(zhǔn)高的特點，他們正在提交資料申請備案，但由于沒有先例，對后續(xù)結(jié)果沒法進行其他判斷。

當(dāng)然，嚴(yán)格的把關(guān)凸顯了我國發(fā)展AI的決心，這樣落地的產(chǎn)品必然是能經(jīng)得起醫(yī)院、醫(yī)生、患者考量的產(chǎn)品。同時，有了審批標(biāo)準(zhǔn)化的指引，企業(yè)也有了為之奮斗的明確目標(biāo)，剩下的，不過只是時間問題。