病理是疾病診斷的“金標準”，而我國面臨病理診斷人才嚴重匱乏窘境。近年來癌癥發(fā)病率不斷攀升，如何借助AI賦能醫(yī)生精準診斷，提高工作效率及醫(yī)療質(zhì)量，成為當前世界病理學科的前沿熱點。近日，浙江大學發(fā)布了視覺與語言模型融合的人機交互AI病理萬能助手-OmniPT，該模型已在浙江大學醫(yī)學院附屬第一醫(yī)院(以下簡稱“浙大一院”)病理科進行臨床應用驗證，病理診斷技術(shù)進入了智能化與個性化的新時代。浙江大學在AI+醫(yī)學交叉領(lǐng)域開展的技術(shù)突破、技術(shù)轉(zhuǎn)化、臨床驗證等系列成果，以實際行動有力響應了科技創(chuàng)新引領(lǐng)衛(wèi)生健康事業(yè)新發(fā)展的國家戰(zhàn)略。

　　OmniPT由浙大計算機學院宋明黎教授團隊聯(lián)合浙大一院共同開發(fā)，雙方自2020年開展深度合作，2022年6月聯(lián)合申請到數(shù)字病理人工智能醫(yī)療器械臨床試驗中心(工信部&國家藥監(jiān)局聯(lián)合審批)。在浙江大學和浙大一院雙方領(lǐng)導的大力支持下，2024年8月該中心獲批人工智能醫(yī)療器械創(chuàng)新任務揭榜掛帥優(yōu)勝單位。

　　世界衛(wèi)生組織(WHO)發(fā)布《醫(yī)療衛(wèi)生中人工智能的倫理治理》指南中指出，AI應用部署落地臨床需要滿足人工智能倫理共識，確定醫(yī)生決策和道德主體地位，醫(yī)生需要確認診斷結(jié)果的安全與準確性。OmniPT的研發(fā)以臨床落地應用為目標，圍繞交互便捷性、診斷效率、診斷精準性、診斷可信性等痛點需求開展技術(shù)攻關(guān)，以病理科醫(yī)生為主導，通過人機交互形式，大幅提升診斷效率及質(zhì)量，有效緩解了病理人才匱乏的窘境。

　　2024年12月13日，在第十七屆中國病理醫(yī)師年會上，浙大一院病理科章京教授詳細介紹了人機交互AI病理萬能助手-OmniPT。面向臨床病理診斷真實需求，依托數(shù)字病理人工智能醫(yī)療器械臨床試驗中心豐富數(shù)據(jù)和算力資源，通過多項關(guān)鍵技術(shù)突破，助力病理大模型在胃癌、結(jié)直腸癌和宮頸癌等高發(fā)病率癌種上開展臨床應用，有效解決數(shù)字病理AI臨床應用難題。

　　浙大一院章京教授在2024年中國病理醫(yī)師年會上首次對外展示OmniPT的功能

　　精準與高效：技術(shù)突破解決臨床應用難題

　　超大尺寸病理圖蘊含多層級豐富信息，如何精準、快速給出可信診斷結(jié)果是病理大模型需要解決的核心難題。研發(fā)團隊通過跨層級高效特征鎖定、提示引導細節(jié)特征補全等關(guān)鍵技術(shù)突破，解決GB級超大尺寸病理圖秒級推理、精準分析難題;進一步地，通過多任務協(xié)同分析技術(shù)，將文本語義與視覺特征強關(guān)聯(lián)，首次實現(xiàn)分類、分割、檢測等多類型診斷任務全覆蓋，為病理報告一鍵生成提供支撐。通過集成上述核心技術(shù)，病理萬能診斷助手OmniPT有效滿足臨床人機交互診斷分析實時、精準、可信需求。

　　技術(shù)負責人馮尊磊副教授介紹：“以往醫(yī)生在分析病理切片時，需要耗費大量時間逐一觀察微觀細節(jié)，而OmniPT可以在不影響推理速度的情況下，1~3秒內(nèi)準確鎖定病灶區(qū)域，十余個癌種上取得95%以上診斷準確性。此外，OmniPT支持文本輸入、視覺框選等多種便捷交互方式，能夠?qū)崿F(xiàn)從全局到局部多尺度病變特征精準鎖定，給文本診斷結(jié)果提供視覺特征依據(jù)，有效解決臨床應用可信診斷難題”。這一成果將進一步推動智能化病理診斷的臨床應用進程，為患者提供更高質(zhì)量的醫(yī)療服務。

　　人機交互病理萬能助手OmniPT應用平臺

　　前沿領(lǐng)域探索：從癌癥診斷到腫瘤標志物挖掘

　　OmniPT目前已在癌癥分型、分級、血管及神經(jīng)侵犯識別、預后標志物發(fā)現(xiàn)等多項核心任務中取得突破性進展。在腫瘤病理診斷中，OmniPT可精準識別腫瘤微環(huán)境的各種細胞及組織，并進行精細化分析;進一步地，OmniPT衍生預后分析能力，在多個癌種上達到80~90%預后精準預測，并從病理表型層面智能化挖掘預后關(guān)聯(lián)多個新型標志物，有效輔助臨床個體化治療。實驗數(shù)據(jù)顯示，OmniPT的整體性能顯著優(yōu)于目前國際上發(fā)布的主流病理模型，為復雜病理診斷分析、腫瘤預后標志物挖掘提供了可靠的智能化解決方案。

　　總結(jié)而言，人機交互AI病理萬能助手圍繞可信性、實時性、精準性等臨床痛點需求取得的核心技術(shù)創(chuàng)新，推動人機交互AI在病理臨床實踐場景從0到1的突破。研發(fā)團隊積極開源共享研發(fā)核心技術(shù)，促進領(lǐng)域協(xié)同合作發(fā)展，提升我國AI智慧病理國際競爭力。

　　未來愿景：構(gòu)建智能化病理生態(tài)

　　數(shù)據(jù)質(zhì)控負責人張秀明醫(yī)生表示：“高質(zhì)量病理數(shù)據(jù)是OmniPT構(gòu)建的基石，隨著算力規(guī)模的提升和更多癌種數(shù)據(jù)樣本的擴充，OmniPT將在更廣泛的臨床場景中應用，為病理醫(yī)生減負的同時，為患者帶來更精準和高效的醫(yī)療體驗?！??

　　依托數(shù)字病理人工智能醫(yī)療器械臨床試驗中心，OmniPT已在浙大一院病理科多個高發(fā)病率癌種率先應用，同步在神經(jīng)病理(如阿爾茨海默病)等重大慢病領(lǐng)域開展結(jié)合液體活檢、基因組學的多模態(tài)轉(zhuǎn)化研究，未來將拓展到更多癌種及非腫瘤疾病中的應用。進一步地，通過結(jié)合底層數(shù)字病理掃描設(shè)備以及病理遠程診斷場景，OmniPT將成為病理科高效、精準診斷智能助手，加快推動AI技術(shù)在真實臨床場景應用建設(shè)進程。

免責聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點，亦不代表本網(wǎng)站贊同其觀點或證實其內(nèi)容的真實性。如稿件版權(quán)單位或個人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。