公司名稱(chēng): 菲數(shù)科技

公司介紹:

杭州菲數(shù)科技有限公司是創(chuàng)建于2015年的研發(fā)型公司，是國(guó)內(nèi)最早一批專(zhuān)注于FPGA異構(gòu)加速解決方案的專(zhuān)業(yè)公司，OpenPOWER基金會(huì)成員，Xilinx公司的國(guó)內(nèi)官方合作伙伴。

菲數(shù)科技目前是FPGA異構(gòu)加速領(lǐng)域的主流供應(yīng)商，已經(jīng)獲得了多個(gè)國(guó)內(nèi)一線互聯(lián)網(wǎng)數(shù)據(jù)中心認(rèn)可并批量使用，可以提供從硬件板卡，開(kāi)發(fā)設(shè)計(jì)環(huán)境，驅(qū)動(dòng)及應(yīng)用接口，到FPGA邏輯設(shè)計(jì)及算法實(shí)現(xiàn)的整套的加速解決方案。

菲數(shù)科技致力于為客戶(hù)提供多元的數(shù)據(jù)處理加速服務(wù)，包括深度學(xué)習(xí)，高性能計(jì)算，邊緣計(jì)算，數(shù)據(jù)壓縮/加解密，網(wǎng)絡(luò)安全等多方面，尤其在CNN卷積網(wǎng)絡(luò)的加速方案上，性能指標(biāo)突出。

解決方案介紹: 通用型CNN卷積神經(jīng)網(wǎng)絡(luò)FPGA加速解決方案

CNN卷積神經(jīng)網(wǎng)絡(luò)是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，具有極強(qiáng)的適應(yīng)性，善于挖掘數(shù)據(jù)局部特征，提取全局訓(xùn)練特征和分類(lèi)，它的權(quán)值共享結(jié)構(gòu)網(wǎng)絡(luò)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，在模式識(shí)別各個(gè)領(lǐng)域都取得了很好的成果。最近在多層卷積神經(jīng)網(wǎng)絡(luò)的突破導(dǎo)致了識(shí)別任務(wù)（如大量圖片分類(lèi)和自動(dòng)語(yǔ)音識(shí)別）準(zhǔn)確率的大幅提升。

卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池采樣層是實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能的核心模塊。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：卷積層，降采樣層，全鏈接層。每一層有多個(gè)特征圖，每個(gè)特征圖通過(guò)一種卷積濾波器提取輸入的一種特征，每個(gè)特征圖有多個(gè)神經(jīng)元?？梢钥吹紺NN算法主要由conv ，pooling，norm等幾個(gè)部分組成，工作時(shí)將image跟weight灌進(jìn)去，最終得到預(yù)測(cè)結(jié)果。在CNN里面主要耗時(shí)的就是conv二維卷積了。性能瓶頸也主要在于卷積時(shí)需要大量乘加運(yùn)算，參與計(jì)算的大量weight參數(shù)會(huì)帶來(lái)的很多訪存請(qǐng)求。這些多層神經(jīng)網(wǎng)絡(luò)很大，很復(fù)雜，需要大量計(jì)算資源來(lái)訓(xùn)練和評(píng)估。

人工智能行業(yè)發(fā)展ABC三要素：算法（Algorithm）、大數(shù)據(jù)（Big Data）和計(jì)算力（Computing），大數(shù)據(jù)和算法可以分別比作人工智能的燃料和發(fā)動(dòng)機(jī)，計(jì)算力則是制約人工智能成“人”還是“成神”的基礎(chǔ)硬件—處理器芯片。實(shí)現(xiàn)計(jì)算力的提升有四種方案：CPU、GPU、FPGA、ASIC。FPGA正是作為一種AI芯片呈現(xiàn)在人們的面前，準(zhǔn)確的說(shuō)，F(xiàn)PGA不僅僅是芯片，它能夠通過(guò)軟件的方式定義，所以更像是AI芯片領(lǐng)域的變形金剛。

利用FPGA做計(jì)算加速在可編程性，實(shí)時(shí)性和互聯(lián)性上的優(yōu)勢(shì)十分明顯，相較于CPU/GPU有足夠競(jìng)爭(zhēng)力的低延時(shí)高性能，然而其短板也非常的明顯，F(xiàn)PGA使用HDL硬件描述語(yǔ)言來(lái)進(jìn)行開(kāi)發(fā)，開(kāi)發(fā)周期長(zhǎng)，入門(mén)門(mén)檻高，需要FPGA的開(kāi)發(fā)周期跟上深度學(xué)習(xí)算法的迭代周期。

菲數(shù)科技設(shè)計(jì)開(kāi)發(fā)的通用型CNN FPGA加速解決方案，采用通用架構(gòu)設(shè)計(jì)，無(wú)須更改底層設(shè)計(jì)文件，通過(guò)配置文件即可獲得對(duì)各種主流算法模型的支持，可以支持在線模型切換。同時(shí)，對(duì)于新興的深度學(xué)習(xí)算法，在此通用基礎(chǔ)版本上進(jìn)行相關(guān)算子的快速開(kāi)發(fā)迭代，模型加速開(kāi)發(fā)時(shí)間從之前的數(shù)月降低到現(xiàn)在的一到兩周之內(nèi)?！　?/p>

通過(guò)Caffe/Tensorflow/Mxnet等框架訓(xùn)練出來(lái)的CNN模型，通過(guò)菲數(shù)的加速庫(kù)ANN生成相應(yīng)的配置文件；同時(shí)，對(duì)圖片數(shù)據(jù)和模型權(quán)重?cái)?shù)據(jù)按照優(yōu)化規(guī)則進(jìn)行預(yù)處理，以及壓縮后通過(guò)PCIe下發(fā)到FPGA加速器中。FPGA加速器根據(jù)配置，進(jìn)行加速工作，加速器執(zhí)行一遍完整緩沖區(qū)中的配置則完成一張圖片深度模型的計(jì)算加速工作。每個(gè)功能模塊各自相對(duì)獨(dú)立，只對(duì)每一次單獨(dú)的模塊計(jì)算請(qǐng)求負(fù)責(zé)。加速器與深度學(xué)習(xí)模型相對(duì)抽離，各個(gè)layer的數(shù)據(jù)依賴(lài)以及前后執(zhí)行關(guān)系均在配置文件中進(jìn)行控制。

解決方案優(yōu)勢(shì)/帶給客戶(hù)的好處:

菲數(shù)科技支持通用卷積神經(jīng)網(wǎng)路的加速庫(kù)ANN的FX613Q加速板卡，采用了Xilinx的Xilinx VU13P芯片，性能領(lǐng)先， 使用方便，且從硬件板卡，F(xiàn)PGA IP方案到用戶(hù)API，形成完整產(chǎn)品方案：

• 支持caffe/tensorflow開(kāi)源環(huán)境下直接使用，自動(dòng)解析網(wǎng)絡(luò)拓?fù)浜蜋?quán)重文件并自動(dòng)配置FPGA

• 支持通用cnn加速應(yīng)用，即可同時(shí)支持Resnet，SSD，VGG和YOLO等等網(wǎng)絡(luò)拓?fù)?/p>

• 性能超越同級(jí)別的GPU，能耗比突出

•解決方案使用場(chǎng)景和案例:

菲數(shù)科技的通用卷積神經(jīng)網(wǎng)路的加速庫(kù)ANN應(yīng)用于直播場(chǎng)景的圖片審定，很好地滿(mǎn)足了項(xiàng)目對(duì)于大批量和實(shí)時(shí)性的要求。

在Caffe環(huán)境下，Resnet50的架構(gòu)，Batch Size=2的情況下，每秒可處理規(guī)格為224x224x3的圖片590張，超過(guò)了同類(lèi)GPU P40的性能。而在Resnet152架構(gòu)下，每秒可以處理253張，約為P40的兩倍。