Part 01 眼動追蹤的歷史發(fā)展 

眼動追蹤技術經歷了從直接觀察到侵入式再到非侵入式的發(fā)展過程。早期的眼動追蹤技術主要應用于心理學領域，常用直接觀察法粗略地描述眼動。侵入式眼動追蹤法，如機械記錄法、探查線圈記錄法等需要測量裝置與眼部直接接觸。機械記錄法直接將橡膠吸盤吸附在眼球表面來記錄眼動數據，十分容易造成眼部不適。探查線圈記錄法則需將感應線圈嵌入眼睛中，通過線圈在電磁場中運動產生的電磁信號來記錄眼動軌跡，此方法對眼睛有一定的傷害，無法長時間佩戴。

20世紀以來，攝像技術、紅外技術與計算機技術的發(fā)展推動了非侵入式眼動追蹤技術的研發(fā)。非侵入式眼動追蹤方法包括紅外線法、視頻記錄法等。紅外線法，如鞏膜-虹膜邊緣法，利用紅外光照射人眼，并在眼部周圍安裝紅外光敏管來接收鞏膜和虹膜邊緣處反射的紅外光。通過眼球轉動時鞏膜和虹膜反射的不同紅外光線無接觸地測出眼動。視頻記錄法主要利用攝像機記錄眼動過程，通過計算機自動分析處理視頻圖像獲取眼動數據。攝像機采集眼部圖像或眼球反射的紅外線圖像，通過預設的模型進行圖像數據與實際注視點的映射，實現非侵入式的瞳孔檢測和注視點估計。

Part 02 眼動追蹤的技術現狀

隨著數字影像設備、計算機視覺、圖像處理、機器學習的快速發(fā)展，現代的眼動追蹤方法大多采用圖像采集設備記錄眼動的視頻，然后利用圖像處理技術提取與眼動相關的特征，通過建立模型實現眼動追蹤。目前常用的方法有基于二維映射的眼動追蹤方法和基于外觀的眼動追蹤方法等。

基于二維映射的眼動追蹤方法通過構建實際注視點與檢測的二維視線參數的映射模型來實現眼動追蹤。瞳孔-角膜反射向量法是目前主流的基于二維映射方法之一，其基本原理是當紅外光源照射眼部時角膜會產生明顯的反射，若紅外光源和圖像采集設備固定，當眼球轉動時瞳孔位置會發(fā)生改變，而角膜反射光斑的位置不會變化，因此可將其作為瞳孔運動的參照點，根據瞳孔中心與角膜反射點的相對位置變化來估計眼球的運動。如圖1 所示，首先在校準環(huán)節(jié)根據已知注視點與瞳孔-角膜反射向量構建瞳孔中心與角膜反射向量的映射函數。校準時受試者需觀察屏幕上特定位置出現的點，校準點通常為1點、3點、5點、9點及13點，利用角膜、瞳孔與反射光斑的信息來分析實際注視點與瞳孔-角膜反射向量之間的關系，目前主要采用多項式擬合、支持向量回歸、神經網絡等方法。然后用攝像機采集眼部圖像，經過圖像處理后識別瞳孔中心與紅外光源在角膜的反射點，構建瞳孔-角膜反射向量。最后將瞳孔-角膜反射向量作為輸入，通過預設好的映射函數計算出實際注視點。

圖片

圖1 瞳孔-角膜反射向量法示意圖

基于外觀的眼動追蹤方法通常以人臉圖像或眼部圖像為輸入進行高維特征提取，然后通過機器學習方法學習高維特征與低維視線之間的映射函數。該方法設備簡單，但需要大量的訓練數據來學習映射函數。早期主要采用KNN、支持向量機、隨機森林等方法進行訓練。隨著大量開源數據集的收集和公開，以卷積神

經網絡為代表的深度學習模型也被大量地應用到基于外觀的眼動追蹤方法中。訓練完成后的模型，以眼部圖像作為輸入即可獲取實際注視點的位置。

Part 03 眼動追蹤與VR 

眼動追蹤能夠幫助用戶獲取物體位置并得到觀察事物深度的特點，使其在虛擬現實與增強現實領域能為用戶提供更好的交互體驗和沉浸感。眼動追蹤在VR領域主要有注視點渲染、眼控交互、虛擬社交、身份識別以及眼動數據分析五大應用。

(1)注視點渲染：基于人眼的視覺生理特征，對用戶注視的中央凹視野區(qū)域進行高清渲染，邊緣視野則使用低分辨率渲染。從而降低渲染帶來的畫面延遲，提升渲染幀率，降低GPU壓力，減輕用戶的眩暈感，顯著提升用戶的沉浸式操控體驗。

(2)眼控交互：作為輔助交互的一種新形態(tài)，幫助用戶通過眼睛就可以與VR場景中的元素進行交互，實現選擇、瞄準、注意力反饋等交互內容，進而在VR場景中建立眼動、手柄、手勢、語音等多模態(tài)的自然交互系統(tǒng)。

(3)虛擬社交：在VR環(huán)境中，通過虛擬人物(Avatar)實時重現人眼的各種動作狀態(tài)，如視線方向、眨眼、瞇眼等。在VR社交、VR會議等VR應用中使用，可以豐富虛擬人物的情感表達，帶來更加貼近真實的虛擬社交體驗。

(4)身份識別：在賬號快捷登錄、虛擬超市支付等有身份驗證需求的場景中，針對用戶佩戴VR頭顯時人臉識別不可用的特殊性，通過眼球追蹤技術進行身份識別和注冊，綁定用戶的賬戶信息，提升VR使用的安全性與便捷性。

(5)眼動數據分析：收集用戶的眼動數據，通過注視時長、注視次數等分析其注意力分布情況，結合心理分析，可用于用戶體驗分析、市場營銷分析、教育培訓、心理康復、視覺訓練、軍事訓練等眾多領域。

Part 04 眼動追蹤發(fā)展方向 

實際應用場景中，基于外觀的注視點估計方法需要大量的訓練數據使得深度模型算法穩(wěn)定性更強，但眼動數據的采集標注通常會耗時費力，因此研究小樣本情況下的新型學習理論與方法，如元學習、遷移學習、數據對抗生成等方法具有重要的研究意義。其次，以往VR眼鏡常用的菲涅爾光學方案的空間較大，因此眼動追蹤模塊的光學設計空間充裕，但隨著PANCAKE光學方案的應用，光路設計的空間被極度壓縮，原先的眼動追蹤光學方案無法實現。因此將眼動追蹤的光路設計和空間需求壓縮到很小的空間內是亟待解決的問題，在空間有限的情況下實現眼動的圖像獲取，應用到PANCAKE VR一體機中。