本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

 有件事情一直令我感到好奇：

都2021年了，現(xiàn)在有自動(dòng)駕駛船在海上行駛嗎？

帶著這個(gè)問題，我打開谷歌，輸入“Autonomous ship”，沒想到現(xiàn)在的自動(dòng)駕駛輪船技術(shù)刷新了我的認(rèn)知：

完全無人的自動(dòng)駕駛輪船今年將橫渡大西洋；零排放的自動(dòng)駕駛輪船正在研發(fā)中……

除了實(shí)驗(yàn)室里的成果，其商業(yè)化進(jìn)度更是超出我的想象：

原來，早在2018年，RR（也就是勞斯萊斯）曾用自動(dòng)駕駛輪船成功跨海運(yùn)送了80名VIP客戶的汽車。

RR的技術(shù)來自一家挪威公司——Kongsberg Maritime（康斯博格海事）。他們運(yùn)用雷達(dá)和攝像頭檢測并避開障礙物，在途中自動(dòng)行駛，駛?cè)敫劭诤笞詣?dòng)停泊。

之后，RR商業(yè)海事部門于2019年4月被Kongsberg收購。

而這家Kongsberg，正是前面提到的開發(fā)零排放自動(dòng)駕駛船舶的航海巨頭。

在Kongsberg的技術(shù)藍(lán)圖里，未來挪威公司生產(chǎn)的化肥將在三個(gè)港口之間裝船、航行和卸貨。整個(gè)過程完全無需人工現(xiàn)場干預(yù)。

按照國際海事組織（IMO）的定義，現(xiàn)在的自動(dòng)駕駛輪船技術(shù)正在從L2向L3演進(jìn)。

至此，我對自動(dòng)駕駛輪船的商業(yè)化進(jìn)程已經(jīng)有大致的了解，那么剩下的問題來了。

輪船如何自動(dòng)駕駛？

自動(dòng)駕駛汽車使用的技術(shù)和芯片五花八門，有堅(jiān)持只用圖像識別的，也有結(jié)合激光雷達(dá)的；有自研芯片的，也有購買第三方計(jì)算平臺的。

Kongsberg用的是什么方案？

和大多數(shù)無人車類似，Kongsberg的方案采用了多種傳感器：雷達(dá)探測遠(yuǎn)距離物體，激光雷達(dá)對船體附近區(qū)域進(jìn)行高精度分析，高清攝像頭拍攝船舶前方海域180度視野景象。

這就是他們首款上市的全自動(dòng)駕駛船解決方案Intelligent Awareness（智能意識）。

三種傳感器收集到的信息，經(jīng)過算法處理后顯示在屏幕上，船員可以通過儀表盤看到高亮顯示的潛在危險(xiǎn)區(qū)域。

按照，Kongsberg的說法，“智能意識”可幫助降低航海者的風(fēng)險(xiǎn)，尤其是在黑暗環(huán)境、惡劣天氣條件下，或是擁擠海域，以及進(jìn)出船塢之時(shí)。

當(dāng)然，其中用的圖像識別與分類比自動(dòng)駕駛汽車要復(fù)雜得多。

因?yàn)楹Ｃ嫔系乃阉骶嚯x更大，因此圖像中物體的縮放比例是一個(gè)巨大挑戰(zhàn)。相同物體在不同距離上呈現(xiàn)的大小有天壤之別，可能最小10個(gè)像素塊、最大10萬個(gè)像素塊。

這必然對硬件有很高的要求。

他們居然只用CPU

然而令人吃驚的是，Kongsberg在這套方案里沒有使用AI推理加速硬件，比如獨(dú)立的GPU或NPU，而是完全依賴于英特爾的CPU（和內(nèi)部集成GPU）。

即使在運(yùn)算量更小的自動(dòng)駕駛車上，不使用專門的AI芯片都是不可想象的。

況且Kongsberg過去的AI方案也不是沒使用過GPU，為什么在輪船上反而不用了？令人費(fèi)解。

后來，這家公司的一位項(xiàng)目經(jīng)理Saarela在采訪中道出了緣由：

其中一個(gè)重要原因是海事認(rèn)證問題。如果不用GPU，我們的服務(wù)器會更容易通過認(rèn)證。而且，我們還想降低功耗。

我們理想的方案是使用差不多相同的通用服務(wù)器系統(tǒng)。我們并不是每臺服務(wù)器都需要GPU，所有服務(wù)器都不用GPU會更好，這樣我們就獲得了冗余，能在任何服務(wù)器上運(yùn)行任何應(yīng)用程序。

工業(yè)領(lǐng)域嚴(yán)苛的認(rèn)證體系，商業(yè)用戶節(jié)約成本的需求，讓全CPU方案成為了“自動(dòng)駕駛輪船”的首選方案。

實(shí)際上， CPU也是完全可以勝任AI推理的。

在這套方案中，Kongsberg使用兩個(gè)英特爾至強(qiáng)鉑金8153處理器，每個(gè)處理器有16個(gè)內(nèi)核。每個(gè)內(nèi)核可處理兩個(gè)線程，所以總共可并行處理64個(gè)模型。

硬件規(guī)格絕對夠豪華。問題是，CPU能滿足自動(dòng)駕駛的計(jì)算需求嗎？

對于這一點(diǎn)，就連項(xiàng)目經(jīng)理Saarela本人最初也沒有信心。

如果CPU處理圖像的速度不夠快，那么自動(dòng)駕駛輪船就可能撞到其他高速移動(dòng)的船只。對于商業(yè)海運(yùn)來說，這種事故造成的經(jīng)濟(jì)損失不容小覷。

誰說CPU不適合AI推理

為了解決這個(gè)難題，Kongsberg找來CPU供應(yīng)商英特爾聯(lián)手優(yōu)化了“智能意識”解決方案。

Kongsberg負(fù)責(zé)提供預(yù)先訓(xùn)練好的人工智能模型供英特爾使用。而英特爾則提供OpenVINO“加速包”，在不降低準(zhǔn)確度的情況下幫助提升數(shù)據(jù)處理速度。

OpenVINO（開放式視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化）是英特爾于2018年推出的深度學(xué)習(xí)優(yōu)化與部署開源工具包，幫助開發(fā)者更方便地在英特爾硬件平臺上部署AI模型。

OpenVINO支持Caffe、TensorFlow、MXNet、ONNX等主流深度學(xué)習(xí)框架，而PyTorch、PaddlePaddle等支持轉(zhuǎn)換為ONNX的框架也可以間接使用，覆蓋了絕大多數(shù)AI開發(fā)者。

當(dāng)然，用TensorFlow開發(fā)自動(dòng)駕駛輪船的Kongsberg也不例外。

OpenVINO將訓(xùn)練好的模型通過模型優(yōu)化器轉(zhuǎn)換為中間表示 (IR)文件（*.bin和*.xml）。

由于去除了模型中任何僅與訓(xùn)練相關(guān)的運(yùn)算，并將部分推理運(yùn)算融合在一起，所以大大加快了推理計(jì)算的速度。

下圖展示了OpenVINO（深藍(lán)色）在模型中的作用，它就像假設(shè)在深度學(xué)習(xí)框架（淺藍(lán)色）和用戶應(yīng)用（橙色）之間的橋梁。

OpenVINO將訓(xùn)練后的模型針對英特爾硬件進(jìn)行深度優(yōu)化，再重新部署，而且這個(gè)過程中無需重新訓(xùn)練AI模型。

經(jīng)優(yōu)化后，在Kongsberg的一個(gè)目標(biāo)識別基準(zhǔn)項(xiàng)目上，CPU每秒處理的圖片數(shù)量提升了4.8倍。

看到這個(gè)結(jié)果后，Kongsberg的項(xiàng)目經(jīng)理Saarela表示：

結(jié)果讓我十分震驚。我原以為我們永遠(yuǎn)都擺脫不了GPU，但這些結(jié)果改變了我的想法，讓我看到了使用CPU的可能性。

打開OpenVINO的介紹頁面，你會發(fā)現(xiàn)，這套工具給英特爾CPU帶來了巨大的AI技術(shù)加成。

最新的2021.2版功能已十分強(qiáng)大，支持圖像分類、語義分割、目標(biāo)檢測、人臉識別、單眼深度估計(jì)、圖像修補(bǔ)等幾乎所有CV應(yīng)用模型。

而作為一款可以放心用于工業(yè)領(lǐng)域的工具包，英特爾也考慮到穩(wěn)定性提供LTS版，保證了性能、接口向后兼容性、7x24穩(wěn)定性以及壓力測試。

搭配上英特爾配套提供的Python分發(fā)版，只需微調(diào)代碼即可提高Python應(yīng)用程序的性能，加速NumPy、SciPy和Scikit-learn等科學(xué)計(jì)算、機(jī)器學(xué)習(xí)庫。

在官方文檔中，Python分發(fā)版最高可以帶來數(shù)倍的性能提升。

現(xiàn)在，我終于明白，Kongsberg為什么只用CPU也能開發(fā)自動(dòng)駕駛輪船了。

其實(shí)不僅是輪船，類似的場合還很多。就拿很多個(gè)人開發(fā)者來說，一臺開發(fā)電腦可能沒有獨(dú)立顯卡，但是絕對不能沒有CPU。

而有了OpenVINO工具包的加持，受限的硬件環(huán)境一樣能發(fā)揮出AI的性能。

說到這里，我突然想起來之前在英特爾開發(fā)者活動(dòng)上抽中的獎(jiǎng)品——第二代神經(jīng)計(jì)算棒，這家伙放在我抽屜里很久了。

我特意去官網(wǎng)查詢了一下，這款英特爾硬件也支持OpenVINO，而且我最近還入手了樹莓派開發(fā)板，正愁如何使用。

沒想到解決自動(dòng)駕駛輪船的疑問，還幫我解決了另一個(gè)難題——如何防止樹莓派吃灰，現(xiàn)在是時(shí)候用OpenVINO和神經(jīng)計(jì)算棒去重新部署一下我的YOLO模型了。