中大新聞網訊（通訊員林銳娜）中山大學電子與信息工程學院（微電子學院）、光電材料與技術國家重點實驗室和廣東省顯示材料與技術重點實驗室王凱教授課題組在應用于機器觸覺的神經形態觸覺傳感器的研究工作中取得重要進展。相關成果發表在《自然·通訊》(Nature Communications)上。
圖1元宇宙中的“打籃球”游戲、觸覺手套和基于觸覺掃描儀的觸覺信息采集和觸覺渲染
為了滿足未來元宇宙和沉浸式體驗的需求，機器觸覺應運而生。然而，與發展了近半個世紀的數字攝像頭和麥克風等機器視覺和聽覺設備相比，機器觸覺設備仍處于非常初級階段，其所需的觸覺感知設備、計算和渲染工具以及與之相對應的算法和軟件十分匱乏。作為邁向機器觸覺廣泛應用的第一步，高保真和高質量數據采集技術關重要。在本項工作中，王凱教授課題組研制了一種基于神經形態觸覺傳感器的掃描設備并初步實現了類皮膚觸覺特征的觸覺信息采集（圖1）。
信號與系統的架構設計是定義一個新領域的前提。與傳統的力觸覺信號與系統不同，類人類皮膚的機器觸覺系統是基于神經形態并仿生人類觸覺的工作原理。區別于傳統模式，信號特性及其處理方式也大不相同，其基礎信號是神經尖峰脈沖（Spike）而非傳統的數字和模擬混合信號；其計算范式是基于矩陣乘法的模擬計算，而非基于布爾邏輯的馮諾依曼數字計算。
圖2 機器觸覺的信號與系統以及與人類觸覺神經系統的對比
因此，在神經形態觸覺傳感器的設計上，課題組借鑒了生物觸覺感知傳入神經系統的機械感受器、生物突觸和神經元的工作機制，特別是參考了皮膚感知、處理觸覺刺激的電生理化處理過程，利用柔性聚偏二氟乙烯(PVDF)制備的軸突感受器模仿生物機械感受器，實現機械力與電學信號的轉換；利用雙柵薄膜晶體管(TFT)的導電溝道可變電阻等效為突觸電導(gsyn)、電容等效為突觸膜電容(csyn)，首次提出基于雙柵TFT的一階非線性神經元電路模型，用以模擬生物突觸的興奮性突觸后電流(EPSC)行為；基于泄漏-積分-發放模型Leaky Integrate-and-Fire Model (LIF)的脈沖編碼電路，模仿神經尖峰脈沖信號的處理功能（圖2）。
圖3 5種表面材質的觸覺信息的采集(Tactile Acquisition)和重現(Tactile Rending)
課題組利用制備的10×10神經形態觸覺傳感器陣列捕捉5種不同類型材質表面紋理的神經形態觸覺信息(TA)，見圖3。不同類型材質的TA信號頻譜存在不同的特征峰，其采用人工神經網絡(ANN)計算的識別率高達93%，表明神經形態觸覺傳感器陣列可采集高質量材質表面特征信息。將這些觸覺信息編碼產生驅動執行器表面的觸覺渲染信息（TR），嘗試再現皮膚在虛擬空間重現材質表面“真實”的觸覺。該傳感器陣列采集的神經形態觸覺信號（TA）與重現的觸覺渲染信號(TR)相關性高達0.68；而在進一步的物理感知心理學實驗中，超過75%的志愿者表示能夠通過重現的觸覺渲染信息可以感知物體表面的粗糙度，初步證明該觸覺傳感器具備實現觸覺的采集-重現閉環功能的潛力。所提出的神經形態觸覺傳感器，憑借其低成本、低功耗、易于集成和制備等特點，為實現大規模人工觸覺感知系統奠定了堅實的理論和實驗基礎。
該工作第一作者為課題組李惠敏博士，王凱教授為唯一通訊作者，合作者包括中山大學計算機學院李文軍教授和中國科學院微電子研究所李偉偉副研究員。
