“深度學習輔助決策醫(yī)療器械軟件審評要點”發(fā)布!AI要拿三類證,這幾點做好了嗎?
2
重大軟件更新
除軟件更新基本類型外,此類軟件常見更新類型又可分為算法驅動型和數(shù)據(jù)驅動型。其中,算法驅動型軟件更新是指軟件所用算法、算法結構、算法流程、現(xiàn)成框架、輸入與輸出等發(fā)生改變,包括算法重新訓練(即棄用原有訓練數(shù)據(jù));數(shù)據(jù)驅動型軟件更新是指僅由訓練數(shù)據(jù)量增加而促使軟件發(fā)生更新,實為算法驅動型軟件更新的特殊情況。
算法驅動型軟件更新通常屬于重大軟件更新。數(shù)據(jù)驅動型軟件更新是否屬于重大軟件更新原則上以算法性能評估結果為準,若算法性能評估結果發(fā)生顯著性改變(即與前次注冊所批準的算法性能評估結果相比存在統(tǒng)計學顯著差異)則屬于重大軟件更新。其他類型重大軟件更新的判定準則詳見軟件指導原則、網(wǎng)絡安全指導原則相關要求。
3
驗證與確認
無論何種軟件更新,均應當按照質量管理體系的要求,開展與軟件更新類型、內容和程度相適宜的驗證與確認活動。
對于算法驅動型軟件更新和數(shù)據(jù)驅動型軟件更新,應當開展算法性能評估、臨床評價等驗證與確認活動,以保證軟件更新的安全性和有效性。
軟件更新臨床評價應當與軟件安全性級別相適宜。對于安全性級別為C級的高風險軟件,適用范圍實質變更原則上應當開展臨床試驗,其他變更情況可使用回顧性研究進行軟件更新臨床評價;對于安全性級別為B、A級的中低風險軟件,可使用回顧性研究進行軟件更新臨床評價。
4
軟件版本命名規(guī)則
軟件版本命名規(guī)則應當涵蓋算法驅動型軟件更新和數(shù)據(jù)驅動型軟件更新,明確并區(qū)分重大軟件更新和輕微軟件更新,其中重大軟件更新應當列舉全部典型情況。
四、相關技術考量
1
適用范圍擴展
1. 基本原則
軟件所含全部深度學習、傳統(tǒng)機器學習功能(以下統(tǒng)稱軟件功能)均應當開展需求分析、數(shù)據(jù)收集、算法設計、驗證與確認等活動,且每項軟件功能應當分別開展需求分析、數(shù)據(jù)收集、算法設計、驗證與確認等活動。
2. 深度學習非輔助決策軟件功能
對于深度學習非輔助決策軟件功能,其驗證與確認要求如下:前處理軟件功能原則上應當開展算法性能評估、臨床評價;流程優(yōu)化軟件功能開展算法性能評估即可,無需開展臨床評價;常規(guī)后處理軟件功能原則上開展算法性能評估即可,全新功能應當開展臨床評價。此時臨床評價可參照傳統(tǒng)醫(yī)療器械評價方法。
3. 傳統(tǒng)機器學習軟件功能
傳統(tǒng)機器學習技術與深度學習技術的主要區(qū)別在于:前者特征提取通常需要人為干預,而后者自動完成特征提取。因此,對于傳統(tǒng)機器學習輔助決策軟件功能,應當明確特征提取信息,包括但不限于特征分類(如人口統(tǒng)計學、生物學、形態(tài)學)、特征屬性(如形態(tài)、紋理、性質、尺寸、邊界)和特征展現(xiàn)方式(如形狀、尺寸、邊界、顏色、數(shù)量)。
對于傳統(tǒng)機器學習非輔助決策軟件功能,其要求參照深度學習非輔助決策軟件功能,同時明確特征提取信息。
2
第三方數(shù)據(jù)庫
第三方數(shù)據(jù)庫可視為回顧性研究的一種特殊形式,可用于算法性能評估,但其類型、用途等情況各不相同,未必能夠完全滿足軟件確認測試的要求。因此,使用第三方數(shù)據(jù)庫進行軟件確認測試,應當評估其滿足軟件確認測試條件的充分性、適宜性和有效性。
可用于軟件確認測試的第三方數(shù)據(jù)庫(以下簡稱測評數(shù)據(jù)庫)應當滿足數(shù)據(jù)平臺建設的通用要求(如網(wǎng)絡與數(shù)據(jù)安全等,不再贅述)和專用要求,其中專用要求包括:
1. 權威性:考慮到數(shù)據(jù)質量主要取決于數(shù)據(jù)標注質量,因此測評數(shù)據(jù)庫創(chuàng)建單位應當包括相應臨床專業(yè)領域的權威機構(如國家臨床醫(yī)學研究中心),數(shù)據(jù)標注人員、標注分歧仲裁人員應當分別具備適宜的、豐富的臨床實踐經驗。
2. 科學性:為保證能夠真實、準確的反映臨床實際情況,測評數(shù)據(jù)庫樣本量應當通過統(tǒng)計學計算確定以控制抽樣誤差,樣本分布應當符合目標疾病的流行病學特征情況,不能進行數(shù)據(jù)擴增;單次測試所用數(shù)據(jù)量應當予以規(guī)定,測試數(shù)據(jù)應當根據(jù)測評數(shù)據(jù)庫樣本分布情況進行等比例隨機抽取。
3. 規(guī)范性:測評數(shù)據(jù)庫的數(shù)據(jù)采集、數(shù)據(jù)脫敏、數(shù)據(jù)處理、數(shù)據(jù)清洗、數(shù)據(jù)標注、數(shù)據(jù)管理、網(wǎng)絡安全防護等數(shù)據(jù)治理活動以及測評過程均應當建立質控程序并形成文件,并滿足可追溯性要求。
4. 多樣性:測評數(shù)據(jù)庫的數(shù)據(jù)應當來源于多個臨床機構,以保證測評數(shù)據(jù)庫能夠用于評價算法泛化能力;在滿足倫理學要求的前提下可包含適當比例的對抗數(shù)據(jù)樣本,以用于評價算法的魯棒性/健壯性。
5. 封閉性:為保證能夠充分、客觀的評價算法質量,測評數(shù)據(jù)庫應當封閉管理,且樣本量應當遠大于單次測試所用數(shù)據(jù)量;測評過程同樣應當保證封閉性。
6. 動態(tài)性:測評數(shù)據(jù)庫應當定期更換一定比例的數(shù)據(jù),以保證測評數(shù)據(jù)庫具有持續(xù)的多樣性和封閉性;被更換的數(shù)據(jù)可用于構建公開數(shù)據(jù)庫以服務于行業(yè)發(fā)展。
此外,第三方公開數(shù)據(jù)庫(以下簡稱公開數(shù)據(jù)庫)因不具備封閉性而不能用作測評數(shù)據(jù)庫,但可用于算法性能評估。公開數(shù)據(jù)庫不宜用于算法訓練,若用于算法訓練應當評估其使用的適宜性和有效性。
3
網(wǎng)絡與數(shù)據(jù)安全過程控制
除考慮軟件自身網(wǎng)絡安全能力建設外,還應當在軟件全生命周期過程中考慮網(wǎng)絡與數(shù)據(jù)安全過程控制要求,包括上市前設計開發(fā)階段和上市后使用階段。
脫敏數(shù)據(jù)由臨床機構轉移至生產企業(yè)應當明確數(shù)據(jù)轉移方法、數(shù)據(jù)污染防護措施。數(shù)據(jù)預處理、數(shù)據(jù)集構建、算法訓練、算法性能評估、軟件驗證等內部活動應當在封閉的網(wǎng)絡環(huán)境下開展,以防止數(shù)據(jù)污染。數(shù)據(jù)標注、軟件確認等涉及外方的活動若在開放的網(wǎng)絡環(huán)境下開展,應當明確網(wǎng)絡安全防護措施,以防止數(shù)據(jù)污染。數(shù)據(jù)采集、上市后使用應當考慮與臨床機構網(wǎng)絡與數(shù)據(jù)安全要求相銜接的接口問題。
各數(shù)據(jù)庫(集)應當進行數(shù)據(jù)備份以保證數(shù)據(jù)安全,數(shù)據(jù)備份應當明確備份的方法、頻次以及數(shù)據(jù)恢復方法。
4
云計算服務與移動計算終端
使用云計算服務應當明確服務模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡安全能力和服務(質量)協(xié)議等要求。使用移動計算終端應當結合終端的類型、特點和使用風險明確相應性能指標要求。相關要求詳見移動器械指導原則。
云計算服務與移動計算終端的網(wǎng)絡安全要求詳見網(wǎng)絡安全指導原則。
注冊申報資料應當在相關公告基礎上滿足軟件指導原則、網(wǎng)絡安全指導原則、移動器械指導原則等相關指導原則要求。輔助決策軟件還應當考慮下述要求,不適用項應當提供合理解釋。非輔助決策軟件可參照輔助決策軟件的適用要求。
1
產品名稱
輔助決策獨立軟件產品名稱應當符合獨立軟件通用名稱命名規(guī)范要求,體現(xiàn)處理對象(如CT圖像、眼底照片)、目標疾。ê∽儭⒓膊傩裕⑴R床用途(如輔助篩查、輔助識別)等特征詞。
軟件組件相應輔助決策軟件功能名稱可參照輔助決策獨立軟件要求。
2
適用范圍
輔助決策獨立軟件適用范圍應當明確預期用途、使用場景和核心功能,包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶、使用場所、采集設備要求、臨床使用限制。
軟件組件相應輔助決策軟件功能適用范圍可參照輔助決策獨立軟件要求,并在產品適用范圍中予以體現(xiàn)。
3
研究資料
除軟件描述文檔、網(wǎng)絡安全描述文檔、軟件版本命名規(guī)則外,研究資料還應當提供以下資料:
軟件描述文檔核心算法部分應當結合本審評要點提供相應算法研究資料,包括數(shù)據(jù)來源合規(guī)性聲明、算法性能影響因素分析資料以及各類測試場景下算法性能評估結果比較分析資料。
研究資料“其他資料”應當提供網(wǎng)絡與數(shù)據(jù)安全過程控制研究資料,包括公開數(shù)據(jù)庫、測評數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)量、數(shù)據(jù)分布)和使用情況。
對于公開數(shù)據(jù)庫,若用于算法訓練,使用情況應當明確數(shù)據(jù)使用量、數(shù)據(jù)分布、訓練集所占比例,并提供其滿足算法訓練要求的評估資料;若用于算法性能評估,使用情況應當明確數(shù)據(jù)使用量、數(shù)據(jù)分布、測試集所占比例、評估指標與結果。
對于測評數(shù)據(jù)庫,若用于算法性能評估,使用情況應當明確評估指標與結果;若用于軟件確認測試,使用情況應當提供其滿足軟件確認測試條件要求的評估資料。
其他類型第三方數(shù)據(jù)庫申報資料參照公開數(shù)據(jù)庫、測評數(shù)據(jù)庫適用要求。
4
說明書
說明書應當符合《醫(yī)療器械說明書和標簽管理規(guī)定》要求。
輔助決策軟件說明書應當明確軟件的適用范圍、臨床使用限制、注意事項、用戶培訓、采集設備要求、數(shù)據(jù)采集操作規(guī)范、輸入與輸出、算法性能評估總結(測試集基本信息、評估指標與結果)、軟件臨床評價總結(臨床數(shù)據(jù)基本信息、評價指標與結果)、運行環(huán)境等內容。
深度學習輔助決策軟件說明書除上述內容外還應當補充算法訓練總結信息(訓練集基本信息、訓練指標與結果)。
前期已開發(fā)軟件若不滿足本審評要點的適用要求,應當開展差距分析并進行必要限定。
總之,技術審評將基于審評關注重點綜合權衡軟件的風險和受益,系統(tǒng)評價軟件的安全性和有效性,協(xié)調上市前與上市后的監(jiān)管要求,兼顧公眾健康保護與促進技術創(chuàng)新的關系。
請輸入評論內容...
請輸入評論/評論長度6~500個字
圖片新聞
最新活動更多
-
8 BD新浪潮
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市