今年 8 月，雷鋒網(wǎng)將在深圳舉辦一場(chǎng)盛況空前，且有全球影響力的人工智能與機器人創(chuàng )新大會(huì )。屆時(shí)雷鋒網(wǎng)將發(fā)布「人工智能&機器人 Top25 創(chuàng )新企業(yè)榜」榜單。目前，我們正在拜訪(fǎng)人工智能、機器人領(lǐng)域的相關(guān)公司，從中篩選最終入選榜單的公司名單。

2013年的時(shí)候，初創(chuàng )公司Leap面向PC端發(fā)布了Leap Motion之后，率先把手勢識別引入到了消費級市場(chǎng)。但是從現在來(lái)看，手勢識別似乎并沒(méi)有在PC端爆發(fā)的趨勢，相比較而言，VR領(lǐng)域卻推動(dòng)了這項技術(shù)的發(fā)展。

本期硬創(chuàng )公開(kāi)課我們邀請了極魚(yú)科技的兩位嘉賓為大家解答手勢識別的疑惑，他們分別是極魚(yú)科技創(chuàng )始人&CEO，前360智能攝像機聯(lián)合創(chuàng )始人房文新，和極魚(yú)科技算法組長(cháng)、中國礦業(yè)大學(xué)碩士、計算機視覺(jué)專(zhuān)家、前靈境算法負責人Arron。

手勢識別對VR來(lái)說(shuō)意味著(zhù)什么？它的應用場(chǎng)景有哪些？

VR和AR是公認的第三代計算平臺，每一代計算平臺都需要與之配套的交互方式，PC之于鼠標、iPhone之于觸摸屏、VR+AR之于手勢操控。

毋庸置疑，手是人最自然的交互方式，帶上VR眼鏡大家很自然的就是伸出手。

沒(méi)有通用人機交互的創(chuàng )新，VR+AR不可能成為下一代計算平臺，只有脫離了手柄脫離了游戲（100億的市場(chǎng)），深入到人們的工作和生活中去（一千億的市場(chǎng)），代替電腦代替手機成為離每個(gè)人都最近最強大隨身攜帶的信息終端節點(diǎn)。

舉個(gè)例子，諾基亞的失敗與蘋(píng)果的成功，差別在于后者人機交互上更自然體驗更好，一個(gè)使用電阻觸摸屏一個(gè)使用了電容觸摸屏：前者就這樣被顛覆了，當然還有與之配套的UI設計、人機交互設計、App和游戲支持。

能顛覆PC的必然不是PC的變種，能顛覆iPhone的必然不是iPhone的變形，下一代計算平臺必然離我們更近：VR、AR、MR！

而對下一代計算平臺來(lái)說(shuō)，我們認為手勢識別為主+語(yǔ)音識別為輔+人工智能語(yǔ)音助手的組合就是最佳的人機交互方案。

按照現在的趨勢，手勢識別未來(lái)的應用場(chǎng)景非常廣泛，例如視頻、游戲、社交、建筑、設計、實(shí)驗、教育、旅游、軍事、全息交互控制等。

手勢識別與姿態(tài)識別、人臉識別、物體識別的差異是什么？

其實(shí)這幾種識別的方案在硬件（如傳感器的模式）大體是相同的。

而且從技術(shù)角度來(lái)說(shuō)，它們也有一些共性，都需要進(jìn)行目標提取，特征識別定位，三維重建等步驟。當然，如果要增強識別的效果，手勢識別肯定是要融合機器學(xué)習算法的，這樣就可以以離線(xiàn)、在線(xiàn)的方式不斷優(yōu)化識別的特征沒(méi)這樣就可以提升識別的效率和準確率。

 

姿態(tài)識別

手勢識別與姿態(tài)識別、人臉識別、物體識別的差異主要體現在應用場(chǎng)景：手勢識別目前多用于人機交互；人臉識別可應用于電影中的動(dòng)畫(huà)表情重建，另外在安防領(lǐng)域應用較多；姿態(tài)識別則主要用在體感游戲，例如Kinect；物體識別的應用就多了，例如網(wǎng)絡(luò )購物實(shí)時(shí)繪制商品，家具模型等。

手勢識別的實(shí)現路徑有哪些？技術(shù)原理是什么樣的？

現在的手勢識別方案主要有四種：第一種是機械手勢識別，例如DExmo；第二種，慣性傳感器，Ahrs九軸的noitem的動(dòng)捕手套就是這種；第三中是基于彎曲傳感器的方案；最后一種是最自然的手勢，基于視覺(jué)的手勢識別，例如leapmotion、Kinect和ThisVR等。

我們主要聊一下基于視覺(jué)的方案。

按照結構和數據源來(lái)區分，也可以包含四大類(lèi)：RGB攝像頭，紅外雙目攝像頭+IR補光，light coding紅外結構光，ToF深度攝像頭。

紅外雙目攝像頭+IR補光是一種比較主流的方案。它的特點(diǎn)是成像質(zhì)量好，目標容易提取，背景干凈，通過(guò)雙目標定能很好的實(shí)現手勢目標邊緣的三維重建。以leap motion的三維重建原理為例：

 

雙目攝像頭方案原理

它應用了特殊紅外波段打光，集合攝像頭加入了對應波段的紅外窄帶帶通濾光片，第一步先進(jìn)行目標提取，通過(guò)雙攝像頭的標定之后，結合特征匹配能很好的進(jìn)行左右視察對應的特征點(diǎn)。

因為雙目攝像頭的標定作用體現在左右時(shí)差能達到小范圍的一一對應，這對之后的三維重建和匹配有很大的幫助。

除此之外，現在雙目攝像頭多采用技術(shù)比較成熟的CMOS傳感器，這樣的分辨率和幀率（很容易達到100幀）可以達到很高的水平。

不過(guò)雙目攝像頭的缺點(diǎn)就是需要進(jìn)行算法處理后才能獲得三維信息，因為目前的幀率很高，已經(jīng)能實(shí)現很好的跟蹤效果，但是它的紅外補光又使得這種方案無(wú)法在強光或是和它同一波段的光源下使用，因為太陽(yáng)光是全波段光譜，所以雙目攝像頭方案在白天室外環(huán)境下基本不能使用。

 

ToF原理

light coding紅外結構光也面臨同樣的問(wèn)題。相比之下，ToF深度攝像頭則剛好彌補了這一短板，你可以理解它是一個(gè)激光正面，通過(guò)發(fā)射和接收光信號的相位差，直接算出深度值，這樣的方案抗光性好，在室內外都適用。

 

light coding和ToF對比

其實(shí)，手勢識別是個(gè)很單一的問(wèn)題，無(wú)論用哪個(gè)方案，經(jīng)過(guò)細分拆解都要進(jìn)行分析和算法的實(shí)現，如左右手區分，手腕和手掌的分割，正面、側面和背面的識別，最后就是手指ID的識別。

 

　　手勢識別實(shí)現的功能和穿戴式的手套的一樣嗎？

其實(shí)手勢識別和穿戴式手套是互補的關(guān)系，玩游戲還是手柄手套比較適合，因為能有力反饋但是手柄30年來(lái)只存在游戲行業(yè)。

但手勢識別未來(lái)主要的應用場(chǎng)景并不是游戲?；剡^(guò)頭來(lái)談VR/AR，它們要成為下一代計算平臺，深入到大眾的工作和生活當中，還是需要一個(gè)通用人機交互方式，而這樣的人機交互不僅是在游戲或者視頻領(lǐng)域，想象一下?lián)Q成了手柄或者手套是一種什么樣的場(chǎng)景...手勢識別的實(shí)現是為了讓人解放雙手，手上不帶任何設備就可以實(shí)現最自然的人機交互。

如果用市場(chǎng)空間來(lái)做對比的話(huà)，游戲行業(yè)只有100億美元左右的規模，而深入到工作和生活的每個(gè)角落：辦公、家居、教育、旅游、衣食住行等，才是萬(wàn)億級別的市場(chǎng)。

所以，我們認為手勢識別為主，語(yǔ)音識別為輔就是第三代人機交互的方式。

手勢識別離普及還有多久？

當然，現在的手勢識別技術(shù)還不成熟。

以我們自己遇到的問(wèn)題為例，現階段積累的手勢模型庫還比較少，雖然人工采集了幾萬(wàn)個(gè)，計算機自動(dòng)建模也有幾百萬(wàn)個(gè)，但這遠遠不夠，如果要達到成熟完全能用的情況還最少要提升十倍到百倍的量，這時(shí)候又會(huì )涉及到計算量以及帶寬等問(wèn)題。

嚴格來(lái)說(shuō)，模型庫越大，加上好的特征選擇和特征降維技術(shù)，深度學(xué)習體系越完整，學(xué)習效率越高，廠(chǎng)商訓練出來(lái)的識別矩陣就更完善，相應的廠(chǎng)商識別精度和匹配準確度越高，通用性更強，越能適配各種不同年齡大小胖瘦的人群。

所以未來(lái)的手勢識別普及的前提就是解決上述問(wèn)題。