一、研究的目的及意義
機器視覺是人類視覺的擴展和延伸。隨著研究的不斷深入，新的描述方式、求解手段的不斷探索和創(chuàng)新以及微處理器性能的快速提高，機器視覺的研究必將會迎來一個更加繁榮的時代，機器視覺技術與產(chǎn)品將會被廣泛地應用于更為復雜的場合。
近年來，隨著國民經(jīng)濟快速增長、社會迅速進步和國力不斷增強，銀行、電力、交通、安檢以及軍事設施等領域對安全防范和現(xiàn)場記錄報警系統(tǒng)的需求與日俱增，要求越來越高，視頻監(jiān)控在生產(chǎn)生活各方面得到了非常廣泛的應用。雖然監(jiān)控系統(tǒng)己經(jīng)廣泛地存在于銀行、商場、車站和交通路口等公共場所，但現(xiàn)有的視頻監(jiān)控系統(tǒng)通常只是錄制視頻圖像，提供的信息是沒有經(jīng)過解釋的視頻圖像，只能用作事后取證，沒有充分發(fā)揮監(jiān)控的實時性和主動性。為了能實時分析、跟蹤、判別監(jiān)控對象，并在異常事件發(fā)生時提示、上報，為政府部門及時決策、正確行動提供支持，視頻監(jiān)控的“智能化”就顯得尤為重要。
由人盯著監(jiān)視屏幕，人總有疲勞限度的。研究表明，監(jiān)控操作人員盯著電視墻屏幕超過10分鐘后將漏掉90%的視頻信息。由于人工篩選數(shù)據(jù)的低效率和低可靠性，視頻監(jiān)控系統(tǒng)不能局限于被動地提供視頻畫面，要求集成智能算法，能夠自動識別不同的物體，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，實現(xiàn)不再要人去盯、用計算機代替人進行監(jiān)控，即實現(xiàn)“自動監(jiān)控”或“智能監(jiān)控”。智能視頻監(jiān)控是基于機器視覺對視頻信號進行處理、分析和理解，在不需要人工干預的情況下，通過對序列圖像自動分析對監(jiān)控場景中的變化進行定位、識別和跟蹤，并在此基礎上分析和判斷目標的行為，能在異常情況發(fā)生時及時發(fā)出警報或提供有用信息，從而有效地協(xié)助安全監(jiān)管人員處理危機，并最大限度地降低誤報和漏報現(xiàn)象，成為應對突發(fā)事件的有力輔助工具。
本項目研究成果的一個典型實際應用。湖南省共有2573個渡口，3468條渡船，渡口數(shù)量穩(wěn)居全國第一。水運交通事故導致的人員傷亡、財產(chǎn)損失、環(huán)境污染、以及社會和政治影響不容忽視。最近幾年，湖南省連續(xù)發(fā)生多起較大以上的水運交通安全事故，給人民生命財產(chǎn)安全造成了極為重大的損失。為解決渡口碼頭運營安全管理中的實際問題，用現(xiàn)代科技去替代“人海戰(zhàn)役”，我們通過與湖南省水運管理局的反復溝通和到渡口碼頭調(diào)研，將重點研究從技術上保障自動識別督查客渡船“六不發(fā)航”制度中的“超載不發(fā)航”、“乘客不穿救生衣或不帶浮具不發(fā)航”。超載判斷是通過基于圖像或視頻的乘客檢測與跟蹤技術來實現(xiàn)的。由于現(xiàn)有架設在岸邊的攝像頭受氣候、光照變化、乘客上下船時有互遮擋、雨傘和帽子的干擾、目標距離等因素影響，不少情況下采集到的視頻質量一般，先天不足對乘客檢測和跟蹤是個挑戰(zhàn)。在客渡船船艙頂部加裝攝像頭，獲取船內(nèi)圖像，這樣采集圖像的質量受外界影響小，有利于提高識別準確率。
二、主要研究內(nèi)容
基于指導老師在嵌入式系統(tǒng)、圖像處理和模式識別領域的積累，針對各種智能監(jiān)控系統(tǒng)的實際需求，我們研發(fā)的基于樹莓派開源硬件平臺與無線網(wǎng)絡的嵌入式智能視頻監(jiān)控系統(tǒng)可安裝在汽車、船舶、地鐵等交通工具內(nèi)部，更加準確的自動識別所監(jiān)視區(qū)域內(nèi)部的情況。
我們研發(fā)的基于樹莓派開源硬件平臺與無線網(wǎng)絡的嵌入式智能視頻監(jiān)控系統(tǒng)，攝像頭現(xiàn)場采集圖像，樹莓派現(xiàn)場分析理解圖像進行人員檢測和計數(shù)，無線網(wǎng)絡將識別結果傳送給監(jiān)控中心計算機。只有出現(xiàn)違章情況時，如客車超載、客渡船乘員超載和未穿救生衣等，才將監(jiān)控區(qū)域的圖像傳送給監(jiān)控中心服務器并將違章代碼傳送到相關人員手機上，減少了傳輸數(shù)據(jù)量。通過嵌入式系統(tǒng)的使用，可以在現(xiàn)場進行乘員檢測與計數(shù)、行人檢測與姿態(tài)估計等，第一時間發(fā)現(xiàn)違章現(xiàn)象，從而進行有效監(jiān)管，具有較高的實用價值。
（1）熟悉樹莓派的硬件結構及其性能，掌握構建基于樹莓派的應用系統(tǒng)硬件，利用板載的GPIO通用接口、I2C總線接口、SPI總線接口、串口等外部設備接口擴展樹莓派的功能。
（2）基于安裝在監(jiān)控現(xiàn)場的通用USB攝像頭或樹莓派專用CSI攝像頭，設計開發(fā)運行在樹莓派上的圖像和視頻采集程序模塊，并設置攝像頭的幀頻、視頻壓縮格式和圖像參數(shù)等。
（3）基于（2）中采集的圖像，研究行人檢測與跟蹤、乘員檢測和計數(shù)、人臉檢測與識別、計數(shù)等算法。算法運行在樹莓派上，能夠理解圖像的內(nèi)容，能準確定位到人。采用開源的計算機視覺函數(shù)庫（C/C++使用OpenCV），實現(xiàn)這些程序模塊以及開發(fā)接口支撐其擴展。
（4）采用TCP/IP協(xié)議或Socket編程，將（3）中的圖像內(nèi)容分析結果傳回的遠程監(jiān)控中心電腦，中心電腦對其遠程控制。若監(jiān)控現(xiàn)場出現(xiàn)異?，F(xiàn)象，則將現(xiàn)場圖像也傳回，起到取證的作用。
（5）設計實現(xiàn)運行在監(jiān)控中心電腦或監(jiān)控人員手機上的程序，接收來自樹莓派的采集圖像并實現(xiàn)屏幕顯示和文件保存，實現(xiàn)遠程智能視頻監(jiān)控。
三、主要研究成果
搭建基于樹莓派與多種網(wǎng)絡連接方式的硬件系統(tǒng)；開發(fā)嵌入式智能視頻監(jiān)控軟件系統(tǒng)（包括樹莓派前端、基于PC或移動終端的后端）；具有適應各種網(wǎng)絡的穩(wěn)定傳輸能力，并能實時接收請求，給出響應；綜合其(1) (2) (3)個目標，從而完成基于視頻的人員識別系統(tǒng)，前端檢測識別，后端控制監(jiān)控的一個便攜式系統(tǒng)；
發(fā)表專業(yè)論文1篇；申請軟件著作權1項。主要成績?nèi)缦拢?/span>
1. 張鵬飛, 金曉康, 湯倩, 張建明. 學習字典下自適應稀疏度估計的分解去噪算法[J]. 福建電腦, 2015, (01): 10-12+31.
2. 陸朝銓, 李旭東, 張鵬飛, 金曉康, 張建明. 基于樹莓派硬件平臺與無線網(wǎng)絡的嵌入式智能視頻監(jiān)控系統(tǒng), 軟件著作權正在申請, 已繳納申請費和代理費.
3. 張鵬飛, 金曉康. 基于樹莓派開源硬件平臺與無線網(wǎng)絡的嵌入式視頻監(jiān)控系統(tǒng), 2015年"華為杯"湖南省大學生計算機作品賽一等獎, 指導老師: 張建明.
4. 張鵬飛, 金曉康, 李旭東. 基于視頻的便攜式人員身份識別系統(tǒng), 2015年獲"北大青鳥郴州科泰杯"湖南省第十一屆軟件應用作品大賽三等獎(嵌入式軟件類), 指導教師: 張建明, 熊兵.
5. 金曉康獲碩士研究生推薦免試資格, 已保送長沙理工大學2016級碩士研究生, 導師: 張建明.
四、研究方法和研究成果創(chuàng)新及特色
室內(nèi)場所人數(shù)統(tǒng)計是當今智能視頻系統(tǒng)研究中一個十分活躍的新領域。該技術能夠被應用在不同的公共室內(nèi)場所，發(fā)揮不同的作用。在程序化的工作場合中人數(shù)統(tǒng)計可預測人群流量，提高建筑設施或者公共設施的利用率。
人臉的自動檢測是一類具有很大挑戰(zhàn)性的問題，其主要難點在于：
1）人臉是一類高度非剛性的目標，存在相貌，表情，膚色等差異；
2）人臉上可能會存在一些附屬物，諸如，眼鏡，胡須等；
3）人臉的姿態(tài)變化萬千，并且可能存在遮擋物；
4）待檢測圖像性質的差異。比如：待檢圖像的分辨率；攝錄器材的質量等；
5）光源的種類和角度。不同種類和角度的光源會對待檢測的人臉產(chǎn)生不同性質的反射和不同區(qū)域的陰影。
當前國內(nèi)外人流自動技術的方法主要有一下幾種：
1）基于形狀的人臉檢測計數(shù)
2）基于膚色特征的人臉檢測計數(shù)
3）基于模型學習的人臉檢測計數(shù)
這些主流的算法都有一定程度上的困難和存在不確定的因素：（1）中鑒于行人行走情況下姿勢的千變?nèi)f化，如何將重疊的行人目標分割開來。行人穿著顏色差異不大時又將行人如何區(qū)分出來。（2）中當人臉膚色差異不大時，如何將行人分離。（3）中利用統(tǒng)計的方法，采用SVM檢測架構，取得了非常好的檢測效果。綜合上述，本系統(tǒng)采用將人臉訓練，將HOG特征和Adaboost分類器相結合，保持了檢測效率的情況下提高檢測速度。
項目的創(chuàng)新點和特色：
1）本項目研究成果可廣泛應用于各種智能視頻監(jiān)控系統(tǒng)、可視倒車系統(tǒng)、行車記錄儀、安防設備等電子產(chǎn)品的開發(fā)實現(xiàn)。
2）不依靠有線線路提供電力與網(wǎng)絡，使監(jiān)控系統(tǒng)的靈活性、便攜性、可靠性得到有效保障。
3）系統(tǒng)具有行人計數(shù)、救生衣檢測等功能，可以減小監(jiān)控人員的勞動強度。
4）使用最新推出的樹莓派這種開源硬件標準平臺進行開發(fā)，使得產(chǎn)品功能的擴展更加方便。
|
