近來AI火紅，其中一個推展大勢則是將AI運算下放到局端（PC、筆電端），甚至是終端，也就是AI邊緣運算的架構(gòu)作法，而此作法的可行條件之一，即是需要有一套可加速運算的解決方案。本文將介紹目前相當突出的硬件加速裝置 － IntelMovidius神經(jīng)運算條（NCS），它僅有USB隨身碟大小，卻具有人工智能加速運算力。

IntelMovidius神經(jīng)運算條（NCS）

NCS發(fā)展背景

Apple與Google Android的爭奪戰(zhàn)

當年Steve Jobs生前說：「Android是個錯誤，即便花盡Apple的600億美元現(xiàn)金也要糾正這個錯誤�！勾嗽捯怀觯珹pple對Android陣營展開長達數(shù)年的專利訴訟戰(zhàn)，而Google為了護衛(wèi)Android陣營，在2012年5月用了約125億美元購并Motorola Mobility公司，以便取得手機相關(guān)技術(shù)專利抗衡Apple，Google在取得捍衛(wèi)所需的專利后，于2014年將Motorola Mobility以29億美元轉(zhuǎn)售給Lenovo。

Google雖將Motorola Mobility賣給Lenovo，卻留下原本屬于MotorolaMobility的ATAP（Advanced Technology and Projects）研究團隊，成為Google本有的X研究團隊外的另一組研究團隊，當時該團隊有兩項重要研究案：一是模塊化智能型手機研究案Ara，二是行動增強實境技術(shù)研究案Tango。ATAP后續(xù)也有開展其他研究案，例如穿戴式毫米波雷達技術(shù)研究案Soli，或同屬終端使用者輸入技術(shù)的Jacquard項目。

Tango項目內(nèi)容

在此我們只討論Tango項目，該項目透過平板計算機上配置的2D畫面影像傳感器（攝影機）、3D深度傳感器（紅外線投射、ToF影像感測），以及平板計算機內(nèi)的圖像處理器（VPU），就可以邊走邊感測，描繪出行經(jīng)路線的空間，包含障礙物、高度、距離等，可用在各種應(yīng)用，例如室內(nèi)導(dǎo)覽、沉浸式游戲等，后來Tango技術(shù)也不限于平板計算機，可進一步縮小到智能手機內(nèi)使用。

而在Tango項目的平板計算機中，其實用上兩顆Movidius公司的Myriad 2芯片，此即是VPU。該芯片內(nèi)已經(jīng)用硬件電路方式實現(xiàn)類神經(jīng)網(wǎng)絡(luò)、人工智能等演算，加速對外界影像的視覺判別，后來該芯片也用于DJI的無人機上，好讓無人機透過影像辨識，得以避障與降落。

神經(jīng)運算條內(nèi)的Myriad 2芯片僅有鈕扣電池般的大小

知名品牌發(fā)展人工智能

由于人工智能運算日益重要，2016年9月Intel并購了Movidius公司，2017年12月Google宣布Tango項目這個增強實境軟件平臺即將結(jié)束，并由新的增強實境軟件平臺ARCore接手，項目雖結(jié)束，但Google依然持續(xù)運用Myriad 2芯片（MA2450）。同為12月，Google發(fā)表AIYVision Kit的人工智能套件，套件內(nèi)即有用及Myriad 2芯片。

Intel也看好前端人工智能、類神經(jīng)網(wǎng)絡(luò)的運算應(yīng)用，在買下Movidius后于2017年推出神經(jīng)運算條棒NeuralCompute Stick，簡稱NCS（Movidius被購并前已展示過NCS的原型品，因購并案而延后正式發(fā)表）。NCS內(nèi)用的也是Myriad 2芯片，但自成一套系統(tǒng)，并用USB接口與其他系統(tǒng)連接，NCS價格實惠僅79美元。除了USB版外，Intel也與臺灣合作伙伴研陽（Aaeon）推出Mini－PCIe版的NCS，稱為UP AI Core，費用降至69美元。

NCS開發(fā)環(huán)境

對NCS背景有些了解后，接著是著手于實務(wù)前的概念。在人工智能的開發(fā)上，Intel提出了一套架構(gòu)（如下圖）：一開始先用運算力強悍的計算機來訓(xùn)練模型，再用NCS與一般筆電來進行型態(tài)化（Profiling）、調(diào)整（Tuning）、編譯（Compile），最后再用筆電或者簡單的單板計算機（例如樹莓派）來進行原型品實作（Prototyping）。

人工智能開發(fā)與應(yīng)用程序圖，包含建模、型態(tài)化、微調(diào)、編譯、原型品等階段

由于NCS需要連接筆電或樹莓派，因此對筆電、樹莓派的系統(tǒng)環(huán)境也有所要求，NCS需要有安裝Ubuntu 16．04版的Linux操作系統(tǒng)，如果筆電只有Windows操作系統(tǒng)，且嫌開機切換成Linux比較麻煩，可以用桌面版虛擬化軟件（如VirtualBox）建立一個虛擬圖像文件，以虛擬化方式執(zhí)行Ubuntu 16．04，也是可行的。

若為樹莓派，則建議使用RPi 3Model B以上的規(guī)格，而后使用樹莓派專用的DebianLinux操作系統(tǒng)Raspbian，且必須是Debian開發(fā)代號Stretch版以上的Raspbian才行，Debian Linux的Stretch版是在2017年6月提出，樹莓派的Stretch版則在8月。

連接NCS的注意事項

另外要注意的是，Intel官網(wǎng)建議，連接NCS的系統(tǒng)最少要有1GB的內(nèi)存，4GB的儲存空間，以及USB 2．0的端口，最好可以是USB 3．0，以利大量數(shù)據(jù)傳輸。由此觀之，樹莓派的硬件資源與規(guī)格僅是勉強合格，但由于樹莓派畢竟是創(chuàng)客圈最廣泛流行的單板計算機，多數(shù)開發(fā)工具包仍會盡可能迎合支持樹莓派，若期望有好一點的單板計算機，也可以用前述AAEON所推出的Up Square，該單板計算機有2～8GB內(nèi)存，也有USB 3．0埠，并支持Ubuntu Linux。

準備好這些后，NCS可支持的人工智能框架主要有二，一是Google提出的TensorFlow，二是柏克萊分校提出的Caffe，也兼容OpenVINO、Andorid的神經(jīng)網(wǎng)絡(luò)（Neural Networks， NN）API。

很明顯NCS無法與NVDIA的TeslaGPU比拼運算力，尚無法廣泛支持各種框架，但NCS僅在1瓦用電下提供人工智能加速運算，已是難得可貴，畢竟TeslaGPU的功耗大多是數(shù)十、數(shù)百瓦。

進一步的開發(fā)則需要安裝NC SDK（軟件開發(fā)工具包）到筆電內(nèi)，SDK內(nèi)提供mvNCCompile、mvNCProfile、mvNCCheck等工具，可以轉(zhuǎn)換格式、統(tǒng)計神經(jīng)網(wǎng)絡(luò)各層的效能、比較網(wǎng)絡(luò)推論運算后的結(jié)果等，另外也附有范例程序及應(yīng)用程序編程接口（API），這些均到位后即可開始學習摸索NCS了。

作者：陸向陽