谷歌展示全新醫療診斷範式：深度學習+AR顯微鏡=實時檢測癌症

摘要：今天，谷歌在美國癌症研究協會（AACR）年會上發表演講，介紹癌症檢測的新研究論文。 他們開發了一種增強現實顯微鏡（ARM）原型平台，可實時檢測癌症。 該平台具備相當大的靈活性，適用於多種顯微鏡、任務類型的

今天，谷歌在美國癌症研究協會（AACR）年會上發表演講，介紹癌症檢測的新研究論文。 他們開發了一種增強現實顯微鏡（ARM）原型平台，可實時檢測癌症。 該平台具備相當大的靈活性，適用於多種顯微鏡、任務類型的配置。

近期，深度學習在醫療領域的應用（包括眼科、皮膚科、放射科和病理科（pathology））顯示了極大的前景，提高全世界高質量醫療的準確率和可用性。 谷歌也發布了研究結果（Detecting
  Cancer Metastases on Gigapixel Pathology
Images），展示卷積神經網絡能夠檢測乳腺癌在淋巴結中的轉移，準確率堪比訓練有素的病理醫生。 但是，由於使用複式光學顯微鏡得到直接組織可視化仍然是病理醫生診斷疾病的主要手段，因此深度學習在病理科的傳播和採用的關鍵阻礙是對微觀組織數字表徵的依賴。

今天，谷歌在美國癌症研究協會（AACR）年會上發表演講，介紹論文《An
  Augmented Reality Microscope for Real­time Automated Detection of
Cancer》（under
review）。 演講介紹了一種增強現實顯微鏡（ARM）原型平台，有望幫助加速和促進世界各地病理醫生對深度學習工具的採用。 該平台包含改良光學顯微鏡，可以實時地將圖像分析和機器學習算法結果直接呈現。 重要的是，ARM
  平台可以利用低價、易獲取的組件進行改造，以適應世界各地醫院、診所的現有光學顯微鏡，且無需分析組織的整張幻燈片數字圖像。

論文地址：https://drive.google.com/file/d/1WRBCqJItaGly-9PDSMlwQ5Ldhc8lB0lf/view

現代計算組件和深度學習模型（如建立在
  TensorFlow 之上的模型）使得該平台可以運行多種預訓練模型。 在傳統的模擬顯微鏡（analog
microscope）中，用戶通過目鏡觀察樣本。 機器學習算法可以實時地將它的輸出投影迴光學路徑上。 這種數字投影在視覺上是疊加在樣本的原始（模擬）圖像上的，以幫助觀察者定位或量化感興趣的特徵。 重要的是，其計算和視覺反饋的更新是很快的，目前的實現以大約每秒
  10 幀的速率運行，因此隨著用戶通過移動幻燈片和/或改變放大倍數來掃描組織，模型輸出可以無縫地進行更新。

左：ARM
  的概述圖。 數字攝像頭捕捉和用戶相同的視野，並將圖像傳遞給附加的計算單元，以運行機器學習模型進行實時推斷。 結果將被反饋給自定義的 AR
顯示器，該顯示器和目鏡串聯，可將模型輸出投影到和幻燈片相同的平面上。 右：設備原型，已被改造成典型的臨床應用級別光學顯微鏡。

原則上，ARM 可以提供多種視覺反饋，包括文本、箭頭、等高線、熱圖或動畫，並且可以運行多種不同的機器學習算法來解決不同的問題，如目標檢測、量化或分類。

作為
  ARM
的潛在效用的展示，谷歌將其用於運行兩種不同的癌症檢測算法：一個在淋巴結樣本上檢測乳腺癌轉移，另一個在前列腺切除術樣本上檢測前列腺癌。 這些模型可以在
  4-40
倍的放大率上運行，給定模型的輸出結果通過綠線描繪的檢測到的腫瘤區域進行展示。 這些輪廓可以幫助病理醫生集中註意力到感興趣的區域上，而不需要遮擋潛在的腫瘤細胞外觀。

通過 ARM 目鏡觀察到的圖像示例。 這些圖像展示了淋巴結癌細胞轉移示例，顯微鏡物鏡分別是 4x、10x、20x 和 40x。

儘管兩個癌症模型都基於光學配置明顯不同的完整幻燈片掃描儀所提供的圖像進行訓練，但是這些模型在
  ARM 上的效果非常好，且無需額外的再訓練。 例如，淋巴結癌細胞轉移模型的曲線下面積（AUC）為 0.98，在 ARM 上運行的前列腺癌模型的
AUC 是 0.96，只比 WSI 上獲取的性能稍有下降。 谷歌認為這些模型的性能可以通過在 ARM 上直接獲取的圖像上進行額外訓練而得到提升。

谷歌認為
  ARM
可以對世界醫療狀況產生巨大影響，尤其是發展中國家的傳染病診斷，如肺結核、瘧疾等。 此外，即使對於採用了數字化病理診斷工作流程的醫院，ARM
也可與數字化工作流程結合使用，數字化工作流程中掃描儀仍然面臨很大挑戰或者仍然需要快速周轉（如細胞學檢查、熒光成像或術中冰凍切片）。 當然，光學顯微鏡在病理科之外的很多方面也被證明有效，谷歌認為
  ARM 可以得到大範圍的應用，如醫療、生命科學研究和材料科學。 谷歌將繼續探索 ARM，幫助加速機器學習技術對世界的積極影響。

原文鏈接：https://research.googleblog.com/2018/04/an-augmented-reality-microscope.html