為什么大海是藍(lán)色的？這個(gè)古老而又神秘的問題一直以來都讓人好奇不已。在《涉水視覺》（Water-related Vision）一文中，作者從光與水的物質(zhì)相互作用及跨介質(zhì)傳播機(jī)理出發(fā)，介紹了涉水成像和圖像解析等領(lǐng)域最新的研究進(jìn)展，展示了一系列在涉水視覺觀測(cè)和系統(tǒng)研制方面取得的科研成果，為海洋科學(xué)、海洋牧場(chǎng)以及海洋安全等領(lǐng)域的科研與技術(shù)升級(jí)注入全新的活力。站在涉水視覺發(fā)展的浪尖，透過云雨霧雪，穿過江河湖海，一個(gè)全新的涉水探索時(shí)代展現(xiàn)在我們面前。在這篇文章中，我們來揭開河水碧綠、大海蔚藍(lán)之謎的面紗。

智能領(lǐng)域的數(shù)據(jù)主體依然是視覺、聽覺、文字等模態(tài)。其中，視覺是核心賽道，也是目前智能應(yīng)用的主戰(zhàn)場(chǎng)。當(dāng)前，視覺研究主要關(guān)注于空氣和真空中，而占地表面積、天氣現(xiàn)象甚至生命組織很大比例的各類水體中的視覺卻未成體系。

水是生命之源，江河湖海之中、云霧雨雪之時(shí)也都是智能領(lǐng)域的重要藍(lán)海，有著極多的應(yīng)用場(chǎng)景。視覺的基礎(chǔ)是光學(xué)，光在水體及跨介質(zhì)中的傳播機(jī)理是涉水成像的本質(zhì)，也是涉水視覺研究的根基。堅(jiān)持踐行 “涉水光學(xué)” 和 “涉水視覺”，李學(xué)龍教授在《電子學(xué)報(bào)》撰寫了 42 頁(yè)五萬(wàn)字的長(zhǎng)文 “涉水視覺”，展示了人工智能賦能的水下視覺。在未來，我們能否通過機(jī)器視覺和光學(xué)成像結(jié)合的技術(shù)手段，透過雨霧、穿越湖海，走進(jìn)這片智能 “藍(lán)海”？

李學(xué)龍. 涉水視覺. 電子學(xué)報(bào), 2023 https://doi.org/10.12263/DZXB

涉水視覺是基于光與水的物質(zhì)相互作用及跨介質(zhì)傳播機(jī)理，通過構(gòu)建專用光學(xué)硬件與視覺算法的技術(shù)體系，解決涉水環(huán)境下視覺影像信號(hào)智能處理與分析，及先進(jìn)智能涉水視覺裝備研制相關(guān)的工程問題，探索機(jī)器視覺在涉水環(huán)境中應(yīng)用的科學(xué)。作為臨地安防（Vicinagearth Security，vicinagearth = vicinage earth）體系中水下安防的重要支撐，涉水視覺對(duì)于我國(guó)領(lǐng)水的防衛(wèi)、保護(hù)、生產(chǎn)、安全、救援具有重要的意義。

海洋中含有十三億五千多萬(wàn)立方千米的水，約占地球上總水量的 97%，其中蘊(yùn)含了大量的重要資源未被探索與開發(fā)，是地球上最重要的涉水環(huán)境。除了常見的江河湖海等典型的水體，陸地上的云雪雨霧等天氣條件也會(huì)創(chuàng)造復(fù)雜的涉水環(huán)境，甚至于其它星球上也可能會(huì)存在如地外海洋一類的涉水環(huán)境。

海水顏色認(rèn)知的主要?dú)v程（圖片來自于網(wǎng)絡(luò)）

因此，對(duì)涉水環(huán)境進(jìn)行探索與研究是一項(xiàng)十分重要的課題。光作為探測(cè)涉水環(huán)境的重要手段，解析光探測(cè)結(jié)果的涉水視覺對(duì)于海洋生態(tài)、碳平衡、氣候變化、海洋熱力學(xué)、惡劣環(huán)境探測(cè)等問題具有重要研究意義。

涉水視覺技術(shù)的發(fā)展影響了我們對(duì)涉水環(huán)境的認(rèn)識(shí)與涉水資源的開發(fā)。而常見的涉水環(huán)境中包含諸如懸浮顆粒物、可溶有機(jī)物、浮游動(dòng)植物等各種復(fù)雜的元素，且其中的光線傳播路徑常常涉及多種介質(zhì)。因此，光在涉水環(huán)境中傳播機(jī)理要比在空氣中更為復(fù)雜，研究光與水及其所含物質(zhì)相互作用及光的跨介質(zhì)傳播機(jī)理是涉水視覺的基礎(chǔ)。

光與水的物質(zhì)相互作用及跨介質(zhì)傳播機(jī)理

本文從「為什么大海是藍(lán)色的？」這一具有普適意義的問題出發(fā)，系統(tǒng)介紹了水對(duì)光的吸收、散射、衰減作用機(jī)理，對(duì)涉水視覺任務(wù)造成的影響，以及現(xiàn)有的涉水圖像處理與解析方法?；谒w光學(xué)特性及成像退化機(jī)理，本文介紹了團(tuán)隊(duì)在探索涉水成像和圖像解析等涉水視覺關(guān)鍵技術(shù)及裝備方面的成果，先后研制了全海深超高清相機(jī)海瞳、全海深 3D 相機(jī)、全海深高清攝像機(jī)等，形成了從色彩、強(qiáng)度、偏振、光譜等全方位、體系化的水下觀測(cè)解析裝備研制能力，填補(bǔ)了全海深光學(xué)視覺技術(shù)的空白。

涉水視覺研究面臨的困難

視覺影像信號(hào)智能處理與分析領(lǐng)域面臨多重挑戰(zhàn)，包括復(fù)雜環(huán)境、物體檢測(cè)和識(shí)別困難、數(shù)據(jù)獲取與標(biāo)注復(fù)雜、大數(shù)據(jù)和高分辨率、水下視覺問題、實(shí)時(shí)性需求、數(shù)據(jù)隱私與安全、跨域泛化。

首先，涉水環(huán)境通常受到多種復(fù)雜因素的影響，包括波浪、潮汐、光照變化和水質(zhì)變化等。這些因素導(dǎo)致涉水影像的質(zhì)量在時(shí)空上變化巨大，進(jìn)一步使得物體檢測(cè)、跟蹤和識(shí)別任務(wù)更加復(fù)雜。物體的形狀、顏色和紋理可能會(huì)因水域介質(zhì)的光學(xué)特性而受到干擾，增加了物體檢測(cè)和識(shí)別的難度。為了進(jìn)行監(jiān)督學(xué)習(xí)，必須對(duì)這些數(shù)據(jù)進(jìn)行準(zhǔn)確的標(biāo)注，包括物體和環(huán)境屬性的精確標(biāo)記，但是要求標(biāo)注者具備高度專業(yè)知識(shí)和經(jīng)驗(yàn)。

其次，現(xiàn)代高分辨率攝像技術(shù)生成了大量的涉水影像數(shù)據(jù)，其數(shù)據(jù)頻率較高，這增加了數(shù)據(jù)處理和管理的挑戰(zhàn)。處理這些大數(shù)據(jù)集需要高性能計(jì)算資源和有效的數(shù)據(jù)管理策略，以確保及時(shí)的數(shù)據(jù)分析和存儲(chǔ)。水下環(huán)境中的影像和視頻通常受到光線在水中的散射和吸收的影響，導(dǎo)致圖像模糊和顏色失真。這增加了水下圖像和視頻分析的復(fù)雜性，需要開發(fā)專門的算法來克服這些問題，以提高圖像質(zhì)量和物體識(shí)別性能。

再次，在某些關(guān)鍵應(yīng)用場(chǎng)景中，如洪水預(yù)測(cè)和海上救援，系統(tǒng)必須能夠?qū)崟r(shí)處理涉水影像數(shù)據(jù)。這需要高效的算法和硬件加速，以確保系統(tǒng)具備即時(shí)響應(yīng)和實(shí)時(shí)決策制定的能力。此外，考慮到一些影像可能包含敏感信息，如個(gè)人身份或敏感地理位置，數(shù)據(jù)的隱私和安全性成為不可忽視的問題。因此，必須采取措施來保護(hù)數(shù)據(jù)的隱私和安全性，同時(shí)遵守法規(guī)和倫理要求，這也增加了數(shù)據(jù)處理和存儲(chǔ)的復(fù)雜性。

最后，不同涉水環(huán)境中收集的數(shù)據(jù)可能存在差異，例如，海洋環(huán)境與內(nèi)陸水域的差異。因此，模型需要具備跨域泛化的能力，以在不同場(chǎng)景中表現(xiàn)出良好的泛化性能。這需要大規(guī)模、多樣化的數(shù)據(jù)集和強(qiáng)大的遷移學(xué)習(xí)技術(shù)的支持。

因此，為了應(yīng)對(duì)上述挑戰(zhàn)，需要開展跨學(xué)科研究和技術(shù)創(chuàng)新，將機(jī)器視覺與機(jī)器學(xué)習(xí)、光學(xué)、海洋學(xué)等多個(gè)領(lǐng)域的知識(shí)結(jié)合起來，推動(dòng)涉水視覺相關(guān)應(yīng)用的發(fā)展。

涉水視覺研究進(jìn)展

機(jī)器視覺是智能時(shí)代的 “眼睛”，其基于傳感器捕獲的圖像為智能設(shè)備執(zhí)行其功能提供操作指導(dǎo)，涉及到光學(xué)照明、光學(xué)成像、信號(hào)處理、圖像處理、圖像增強(qiáng)、多模態(tài)認(rèn)知計(jì)算及圖像智能解析算法等多種技術(shù)。

隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，越來越多新的視覺算法及技術(shù)被提出，在目標(biāo)偵查、智慧城市、資源勘探等多個(gè)領(lǐng)域都已經(jīng)有很成熟的工程化應(yīng)用。但是當(dāng)前常見的機(jī)器視覺和智能系統(tǒng)研究主要圍繞空氣和真空介質(zhì)中的視覺任務(wù)展開，對(duì)涉水前端成像機(jī)理和過程研究不夠深入，對(duì)涉水圖像和視頻的智能化處理與分析研究未成體系。

涉水視覺技術(shù)仍然停留在利用傳統(tǒng)處理方法進(jìn)行識(shí)別，僅通過對(duì)顏色、外形等特征對(duì)目標(biāo)進(jìn)行辨識(shí)。

當(dāng)前端采集設(shè)備應(yīng)用于涉水環(huán)境時(shí)，由于水對(duì)光的反射、折射、吸收、散射等作用，對(duì)成像結(jié)果的能見度、分辨率、對(duì)比度等影響很大，尤其是在復(fù)雜的水環(huán)境下，造成目標(biāo)圖像出現(xiàn)偏色、褪色、畸變、對(duì)比度低、亮度分布不均勻等情況，很難對(duì)目標(biāo)圖像進(jìn)行準(zhǔn)確辨識(shí)，無法直接用于處理及分析。

隨著近些年智能信號(hào)處理技術(shù)的跨越式進(jìn)步，現(xiàn)今的視覺技術(shù)，利用光電成像系統(tǒng)采集圖像信息，經(jīng)過智能技術(shù)的處理，對(duì)目標(biāo)特性進(jìn)行識(shí)別、分析及判斷，與深度學(xué)習(xí)、計(jì)算成像、3D 視覺、嵌入式視覺系統(tǒng)等技術(shù)緊密結(jié)合，然而前端成像設(shè)備和后端分析算法間的關(guān)系常常被忽略，在涉水視覺領(lǐng)域因前端光線傳播機(jī)理復(fù)雜而影響更甚。

（a）單介質(zhì)涉水圖像色彩偏移及（b）色彩矯正后的圖像

（a）單介質(zhì)涉水圖像模糊及（b）去模糊后的圖像

理想的完備涉水視覺系統(tǒng)是通過光學(xué)的裝置和非接觸的傳感器，在光傳播路徑的局部或整體的一切水體中，自動(dòng)地接收并處理一個(gè)真實(shí)物體的圖像，通過前后端的感算結(jié)合高效準(zhǔn)確地獲得所需信息。

涉水視覺是基于光與水的物質(zhì)相互作用及跨介質(zhì)傳播機(jī)理，通過構(gòu)建專用光學(xué)硬件與視覺算法的技術(shù)體系，解決涉水環(huán)境下視覺影像信號(hào)智能處理與分析，及先進(jìn)智能涉水視覺裝備研制相關(guān)的工程問題，探索機(jī)器視覺技術(shù)在涉水環(huán)境中應(yīng)用的科學(xué)。其作為臨地安防體系中水下安防的重要支撐，對(duì)于我國(guó)領(lǐng)水的防衛(wèi)、保護(hù)、生產(chǎn)、安全、救援具有重要的意義。

（1）全海深超高清相機(jī) ——“奮斗者” 號(hào)萬(wàn)米載人潛器電視直播核心裝備。2020 年 10 月，所研制的全海深超高清相機(jī)作為萬(wàn)米深潛直播的核心裝備，實(shí)現(xiàn)了國(guó)際上首次萬(wàn)米直播。

全海深超高清相機(jī)

（2）“海瞳” 相機(jī) —— 我國(guó)首套自主研制的全海深高清相機(jī)。2017 年 3 月，研制的 “海瞳” 相機(jī)隨天涯號(hào)著陸器多次下潛到萬(wàn)米深度，最大潛深 10909 米，記錄的相關(guān)視頻影像資料為馬里亞納海溝深淵的海洋生物，物理海洋等多學(xué)科研究提供了重要的原始數(shù)據(jù)。獲得了諸多珍貴海洋觀測(cè)資料，填補(bǔ)了多項(xiàng)海洋科研領(lǐng)域空白。首次記錄下了位于 8152 米深處的獅子魚，是當(dāng)時(shí)國(guó)際上觀測(cè)到魚類生存的最大深度。

（3）小型全海深高清攝像機(jī)。2020 年 4 月至 6 月期間，研制的小型全海深高清攝像機(jī)，搭載 “海斗一號(hào)” 無人潛水器上，作為唯一搭載的光學(xué)成像設(shè)備，進(jìn)行了我國(guó)首次作業(yè)型無人潛水器的萬(wàn)米海試，最大下潛深度 10907 米，刷新了我國(guó)潛水器最大下潛深度紀(jì)錄。

“海瞳” 相機(jī)

臨地安防（Vicinagearth Security）

臨地安防技術(shù)體系屬于前沿交叉學(xué)科與技術(shù)領(lǐng)域，面對(duì)低空立體交通、災(zāi)害救援、港口水下監(jiān)控、海洋牧場(chǎng)等一系列應(yīng)用場(chǎng)景，涵蓋低空安防、水下安防及跨域安防，是臨地空間中防衛(wèi)、防護(hù)、生產(chǎn)、安全、救援等需求的多元化、跨域化、立體化、協(xié)同化、智能化技術(shù)體系。該技術(shù)體系不獨(dú)立于現(xiàn)有的眾多其他學(xué)科領(lǐng)域 / 技術(shù)體系，包含相干光探測(cè)、穩(wěn)定探測(cè)、多模態(tài)認(rèn)知計(jì)算、群體智能決策、涉水光學(xué)以及跨域遙感等六大研究 / 技術(shù)方向的同時(shí)，更廣泛地面向空天地海井網(wǎng)，涉及航空航天、深空深海、機(jī)械電子、信息 / 量子通訊、新材料、能源動(dòng)力等眾多學(xué)科與技術(shù)領(lǐng)域的交叉融合，對(duì)國(guó)防安全、社會(huì)穩(wěn)定、經(jīng)濟(jì)發(fā)展具有重要意義。

與傳統(tǒng)臨近空間或近地空間不同，臨地（Vicinage earth, Vicinagearth）空間是指從海平面以下 1000 米（陽(yáng)光穿透水深極限，南海平均水深）到海平面以上 10000 米（民航航線高度）的水域、地面及空域。其中，海平面以下 100 米（大陸架平均水深）到地面以上 1000 米（低空空域開放高度）是其核心區(qū)），基本覆蓋人類主要生產(chǎn)生活，以及現(xiàn)代戰(zhàn)爭(zhēng)低空超低空及水下作戰(zhàn)空間。其中，Vicinage 源于古法語(yǔ) / 拉丁語(yǔ)的 visnage/vicinus，同 neighbor。

作者介紹

李學(xué)龍，西北工業(yè)大學(xué)校學(xué)術(shù)委員會(huì)副主任、光電與智能研究院（iOPEN）教授，關(guān)注臨地安防、圖像處理、成像。E-mail: li@nwpu.edu.cn