隨著人工智能和IoT技術(shù)的成熟和普及，人們對硬件設(shè)備的視覺智能化需求也越來越多，云端AI平臺也越來越多。但在某些場景中，人們對人工智能設(shè)備的快速響應(yīng)要求比較高，這個時候，嵌入式AI設(shè)備就會是比較理想的一個解決方案，它通過在設(shè)備本地運行AI算法，能夠省去數(shù)據(jù)在云端和設(shè)備端來回傳輸?shù)臅r間，達到快速響應(yīng)的效果。

嵌入式AI相機的原理是什么呢？

從硬件層面來看，主要構(gòu)成是一個攝像頭加一個可以進行人工智能算法運算的芯片，如下圖所示，右邊攝像頭做數(shù)據(jù)采集，左邊算法芯片做數(shù)據(jù)運算。

  

軟件層面來看，嵌入式AI相機跟其他無AI或者云端AI相機最大的區(qū)別，就是它把AI算法模型內(nèi)置在設(shè)備芯片里面，也就是上圖中左邊部分的芯片里面。其實這部分也正是做嵌入式AI硬件產(chǎn)品開發(fā)難度最大的部分，即所謂的“算法移植”。

我們知道，現(xiàn)在有很多云端的AI開放平臺，也有很多開放的算法框架，如果我們把AI算法推理直接在這些平臺上做，那設(shè)備端所要做的工作就是把數(shù)據(jù)采集好往云端推送，然后等結(jié)果回傳就好了。但是如果我們要把算法放在設(shè)備本地，由于芯片的運算能力和云服務(wù)器的運算能力不能比，因此一般的算法框架沒辦法直接用，我們需要對算法做裁剪，然后做模型優(yōu)化，最后再部署到設(shè)備芯片里面。這個工作量比較大，難度也比較高。

那有沒有好的方案來簡化這個“算法移植”過程呢？這正是OpenNCC所竭力提供的方案，即通過提供模塊化的硬件和容器化的算法方案，讓嵌入式的AI相機開發(fā)過程變得像挑選菜譜一樣簡單高效。

我們以一個實際的應(yīng)用案例來看一下用OpenNCC開發(fā)一款嵌入式的人臉檢測AI相機的過程。

1.選擇算法模型
在OpenNCC的開發(fā)包中提供了一個"OpenNCC View"工具軟件，它里面內(nèi)置了10種不同的模型檢測算法，只要挑選即可，我們選擇其中一個face-detection-retail-0004，如下圖所示。 

  

2.連接相機和View軟件
把OpenNCC相機通過usb數(shù)據(jù)線插到電腦上，點擊view 軟件第一個按鈕”Get device info”，軟件就會找到對應(yīng)的相機，如下圖所示：

  

3.在相機端加載算法模型
上一步中我們已經(jīng)選擇好了要加載的face-detection-retail-0004模型，這里就點擊下面的“Start running model”按鈕，軟件就會把對應(yīng)的算法模型加載到相機里面。檢測最低分數(shù)為默認的50%，滿分100%。其他參數(shù)我們就按默認值就行了。

  

4.效果測試

a.正常人臉，出現(xiàn)在鏡頭中

在正常人臉出現(xiàn)在鏡頭中，檢測很穩(wěn)定，能很準(zhǔn)確的捕捉到人臉信息，得分基本在100%

b.人臉被遮擋

  

我戴著口罩測試下來，人臉檢測也很穩(wěn)定，能很準(zhǔn)確的捕捉到人臉信息，基本和不戴口罩檢測結(jié)果保持一致。

c.側(cè)臉/背對鏡頭

  

這張圖片中右邊同事其實也不算側(cè)臉了，只露出了小部分面部信息，而且還戴了口罩，這對算法的考驗還是挺大的，可以看出，算法還是能夠識別出來的，只不過分數(shù)有所下降，到了70%，而對于左邊完全背對著鏡頭的同事，就無法檢測到人臉信息了，無法識別，畢竟是人臉檢測嘛，咱不能對算法過于苛刻，也合理。

d.暗光環(huán)境下
在實驗室暗光下，照度只有10lux，下圖中的人臉肉眼都已經(jīng)很難看清，但算法還是識別出來了人臉，暗光環(huán)境下表現(xiàn)有點厲害。

  

e.遠距離測試

  

這張圖片是在距離鏡頭6m左右的位置，人臉圖像已經(jīng)有點模糊，算法檢測分數(shù)在60%左右，再遠的位置就很難檢測到人臉了。

 f. 多人臉測試

  

我們從網(wǎng)上找到一張圖片，40張人臉，在顯示器上展示圖片，用OpenNCC相機對著顯示器看一下識別結(jié)果：

  

5.組裝整機

從上步測試效果來看，人臉檢測準(zhǔn)確率還很高。驗證通過后，就可以找個標(biāo)準(zhǔn)的38x38的工業(yè)相機殼把相機組裝起來，這樣一款嵌入式人臉抓拍相機就開發(fā)完成了！

  

這里我們用到的OpenNCC DK技術(shù)參數(shù)如下：

硬件技術(shù)規(guī)格
尺寸	38mmx38mmx45mm
重量	31克
VPU	Intel Movidius Myriad X MV2085
內(nèi)存	4Gb
數(shù)據(jù)接口	USB Type-C 2.0/3.0
電源	5V / 2A
相機模組	200萬像素可見光相機模組（其他像素可見光模組、紅外模組、3D模組可選配）
分辨率	1920 x 1080
幀率	30Hz
水平視場角	70°
軟件功能
操作系統(tǒng)	Linux
SDK	1. 獲取視頻流
	2. AI模型下載和更換
	3. 獲取模型運算結(jié)果
	4. 相機拍照、重置等
OpenView	開源軟件，能夠配置相機模型
圖像信號處理	√
人工智能
算力	最高4TFlops
支持模型	支持所有OpenVINO的模型，支持TensorFlow和Caffe等框架

 

產(chǎn)品特點：
1.集成嵌入式人工智能技術(shù)
2.算法容器化，可通過軟件在自帶的10款模型庫里面選，也可自己訓(xùn)練算法模型后通過SDK導(dǎo)入相機
3.支持攝像頭模組更換

適應(yīng)行業(yè)：

物聯(lián)網(wǎng)，智慧醫(yī)療，智慧農(nóng)植，智慧城市等。

>>推薦OPENNCC產(chǎn)品