世界衛生組織（WHO）的資料顯示，全球有超過四千萬的截肢患者。隨著科技的發展，雖然義肢技術已在某程度上改善了，令肢被截肢者的生活品質得到改善，但在義肢控制方面仍然存在許多不足：要靠笨重的附加設備及動作反應延遲高等。
明尼蘇達大學的研究團隊及其合作者，近日共同開發出了一種基於深度學習的便攜式獨立神經義肢。研究人員透過 NVIDIA Jetson Nano 的等邊緣運算平台在神經元假體應用中建立深度學習的可行性，研發了這款獨立便攜式義肢系統。
在實驗結果可以看到，在各種環境中，神經元系統能夠提供強大的、高精準度（95-99%）和低延遲（50-120 ms）的手指運動控制能力。
▲ 截肢者透過神經記錄即時控制單個手指的運動
臨床試驗證明，該系統在各種環境及不同的手臂或身體姿勢下，都可以連續穩定運行數小時。研究人員表示，該義肢系統是世界第一款在便攜式臨床神經元假體應用平台上具有深度學習神經解碼器的系統，為未來的義肢研究提供了極高的參考價值。
▲ 便攜式神經義肢
AI 助力下一代神經元假體
深度學習在分析和解碼生物醫學資料方面的應用一直在穩步發展。在的神經元假體領域發展快速，基於深度學習的神經解碼器已經成為成為下一代發展方向，這種基於深度學習的 AI 系統可以幫助使用者利用靈巧的義肢系統進行全方位運動。
▲ 下一代神經假體的藝術概念
在此次研究中，研究團隊透過比較基於 CNN 和遞歸神經網路的深度學習解碼器與經典機器學習技術的性能發現，深度學習方法使用從截肢者獲得的外周神經資料後，在解碼靈巧手指運動的所有性能指標上優於其他技術。但在長期臨床應用仍然具有挑戰性。深度學習的效率是以計算複雜性為代價的。眾所周知，在大多數低功耗平台上的傳統中央處理器上運行深度學習模型時，效率非常低。在實踐中，絕大多數深度學習模型必須使用圖形處理單元（GPU）來訓練和部署。
邊緣運算設備的發展，成為解決這一問題提供了新的可能。早期的邊緣運算設備側重於通用應用，但最近，用於深度學習的緊湊硬體的開發有所增加。但是不幸的是，目前的軟體支援僅限於高度定製的神經網路，阻礙了基於 RNN 的神經解碼器的發展。
另一類用於深度學習的邊緣運算設備包括帶有整合 GPU 的獨立電腦。最著名的例子是 NVIDIA Jetson Family，它包括具有 CPU、GPU、RAM、快閃記憶體等，專為在自主應用程序中部署人工智慧而設計。同時它允許直接使用最流行的深度學習庫，如 TensorFlow、PyTorch 和 Caffe。這為研究團隊的神經解碼器實現提供了尺寸、功率和性能之間最合適的折衷。這也為本研究提供了可靠的硬體支撐。
基於AI的軟體和硬體系統
透過基於 NVIDIA Jetson Nano 系列的硬體平台，研究人員成功創建了便攜式神經義肢系統。
▲ 便攜式神經義肢系統的總覽
如圖 A，該系統的組成部分包括 Scorpius 神經連接埠、帶有定製載板的 Jetson Nano、定製的義肢控製器和可充電鋰離子電池；而便攜式神經義肢則作為一個獨立的便攜式單元，整個系統可以整合到內部，取代假體現有的肌電圖傳感器和電子設備，從而對義肢的重量和美觀影響最小。
▲ 便攜式神經義肢系統的各部分細節
神經資料透過 Scorpius 神經連接埠（圖 A）獲得，Scorpius 系統的小型化外形使其可以部署在各種可穿戴和可植入的應用中。設備由承載板透過隔離的 USB 鏈路供電，所獲得的資料直接傳輸到 Jetson Nano 進行進一步處理。
為了能使 Jetson Nano 更好的發揮作用，研究團隊為它專門設計了一個定製的載板（C 圖），為 Nano 模塊提供電源管理和輸入與輸出連接。
經過全面訓練的深度學習模型被用來將神經訊號即時轉換成受試者個人手指運動的真實意圖。最終的預測被發送到手控製器來驅動義肢。義肢擁有五個獨立驅動的手指，搭配研究團隊定製的控製器（B 圖），實現對手指的控制。
在軟體方面，該系統採用 Python 實現它的硬體功能，由資料採集、資料預處理和電機解碼三個獨立的線程組成。
▲ Jetson Nano 中的資料處理流程
資料的主要處理是在 Jetson Nano 中實現的。首先，來自截肢者手臂的外圍神經訊號形式的資料被發送到平台，然後進行預處理；同時，預處理也是至關重要的，這一步是將原始神經資料輸入到試驗中，並提取他們的主要特徵。
預處理資料與主要特徵相對應，清除所有噪聲源後被發送到深度學習模型中，以具有控制每個手指運動的最終輸出，因此，五根手指可以分別對應不同的輸出從而產生不同的動作。
不可思議的臨床應用
在之後的臨床應用中，研究團隊選擇了一個失去手 14 年的截肢者進行。所有的資料採集和處理都是由 Jetson Nano 即時完成的，沒有與任何遠端電腦進行有線或無線通訊。
▲ 截肢者使用神經義肢進行室內測試
截肢者用他靈巧的義肢向外界觀察者展示他移動手指進行比較的意圖。結果表明，機械手準確地模擬了操作者的運動意圖。
截肢者還測試了假手在各種姿勢下的魯棒性，因為伸直手臂可能會產生相當大的肌電圖噪聲。受試者報告系統響應性略有變化，但沒有明顯的電機解碼精度下降。
最終結果表明，該系統幾乎可以像正常人的手一樣移動它的機器人手指。
▲ 截肢者正在連接主機接受測試
在這個測試中的截肢者表示：我覺得使用這個義肢，更像是一種生活功能，不用考慮義肢在什麼位置或者義肢在什麼模式就能完成日常任務。就好像我想拿起某樣東西，就伸手去拿一樣東西。我知道它就像我的手一樣，可以完成日常的功能，我想我可以做到。
雖然這項研究實現了諸多的功能，但是該義肢系統在實現方式上仍有改進的空間。同時，Jetson Nano 的 GPU 是基於 NVIDIA 的 Maxwell（2014）架構，這可能不如最近的 GPU 架構如 Turing（2018）和安培（2020）那樣高效。一旦軟體支援變得更加強大，Jetson Nano 也有可能與Intel神經計算棒和Google Coral 等 usb 連接設備相結合，以擴展深度學習推理能力。
這項研究實現了多個方面的創新，第一點創新在於束內微電極陣列的開發；第二點創新在於設計了 Neuronix 神經連接埠微晶片；第三點創新在於深度學習運動解碼範式的優化；第四點創新在於基於最先進的邊緣運算平台的軟體和硬體的實現。
研究人員表示，預計這項工作將成為未來開發基於 AI 的便攜式生物醫學設備方面的墊腳石，並為更多的被截肢者帶來生活上的便利。
沒有留言:
張貼留言