一、研究的目的及意義
機(jī)器視覺是人類視覺的擴(kuò)展和延伸。隨著研究的不斷深入，新的描述方式、求解手段的不斷探索和創(chuàng)新以及微處理器性能的快速提高，機(jī)器視覺的研究必將會迎來一個更加繁榮的時代，機(jī)器視覺技術(shù)與產(chǎn)品將會被廣泛地應(yīng)用于更為復(fù)雜的場合。
近年來，隨著國民經(jīng)濟(jì)快速增長、社會迅速進(jìn)步和國力不斷增強(qiáng)，銀行、電力、交通、安檢以及軍事設(shè)施等領(lǐng)域?qū)Π踩婪逗同F(xiàn)場記錄報(bào)警系統(tǒng)的需求與日俱增，要求越來越高，視頻監(jiān)控在生產(chǎn)生活各方面得到了非常廣泛的應(yīng)用。雖然監(jiān)控系統(tǒng)己經(jīng)廣泛地存在于銀行、商場、車站和交通路口等公共場所，但現(xiàn)有的視頻監(jiān)控系統(tǒng)通常只是錄制視頻圖像，提供的信息是沒有經(jīng)過解釋的視頻圖像，只能用作事后取證，沒有充分發(fā)揮監(jiān)控的實(shí)時性和主動性。為了能實(shí)時分析、跟蹤、判別監(jiān)控對象，并在異常事件發(fā)生時提示、上報(bào)，為政府部門及時決策、正確行動提供支持，視頻監(jiān)控的“智能化”就顯得尤為重要。
由人盯著監(jiān)視屏幕，人總有疲勞限度的。研究表明，監(jiān)控操作人員盯著電視墻屏幕超過10分鐘后將漏掉90%的視頻信息。由于人工篩選數(shù)據(jù)的低效率和低可靠性，視頻監(jiān)控系統(tǒng)不能局限于被動地提供視頻畫面，要求集成智能算法，能夠自動識別不同的物體，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，實(shí)現(xiàn)不再要人去盯、用計(jì)算機(jī)代替人進(jìn)行監(jiān)控，即實(shí)現(xiàn)“自動監(jiān)控”或“智能監(jiān)控”。智能視頻監(jiān)控是基于機(jī)器視覺對視頻信號進(jìn)行處理、分析和理解，在不需要人工干預(yù)的情況下，通過對序列圖像自動分析對監(jiān)控場景中的變化進(jìn)行定位、識別和跟蹤，并在此基礎(chǔ)上分析和判斷目標(biāo)的行為，能在異常情況發(fā)生時及時發(fā)出警報(bào)或提供有用信息，從而有效地協(xié)助安全監(jiān)管人員處理危機(jī)，并最大限度地降低誤報(bào)和漏報(bào)現(xiàn)象，成為應(yīng)對突發(fā)事件的有力輔助工具。
本項(xiàng)目研究成果的一個典型實(shí)際應(yīng)用。湖南省共有2573個渡口，3468條渡船，渡口數(shù)量穩(wěn)居全國第一。水運(yùn)交通事故導(dǎo)致的人員傷亡、財(cái)產(chǎn)損失、環(huán)境污染、以及社會和政治影響不容忽視。最近幾年，湖南省連續(xù)發(fā)生多起較大以上的水運(yùn)交通安全事故，給人民生命財(cái)產(chǎn)安全造成了極為重大的損失。為解決渡口碼頭運(yùn)營安全管理中的實(shí)際問題，用現(xiàn)代科技去替代“人海戰(zhàn)役”，我們通過與湖南省水運(yùn)管理局的反復(fù)溝通和到渡口碼頭調(diào)研，將重點(diǎn)研究從技術(shù)上保障自動識別督查客渡船“六不發(fā)航”制度中的“超載不發(fā)航”、“乘客不穿救生衣或不帶浮具不發(fā)航”。超載判斷是通過基于圖像或視頻的乘客檢測與跟蹤技術(shù)來實(shí)現(xiàn)的。由于現(xiàn)有架設(shè)在岸邊的攝像頭受氣候、光照變化、乘客上下船時有互遮擋、雨傘和帽子的干擾、目標(biāo)距離等因素影響，不少情況下采集到的視頻質(zhì)量一般，先天不足對乘客檢測和跟蹤是個挑戰(zhàn)。在客渡船船艙頂部加裝攝像頭，獲取船內(nèi)圖像，這樣采集圖像的質(zhì)量受外界影響小，有利于提高識別準(zhǔn)確率。
二、主要研究內(nèi)容
基于指導(dǎo)老師在嵌入式系統(tǒng)、圖像處理和模式識別領(lǐng)域的積累，針對各種智能監(jiān)控系統(tǒng)的實(shí)際需求，我們研發(fā)的基于樹莓派開源硬件平臺與無線網(wǎng)絡(luò)的嵌入式智能視頻監(jiān)控系統(tǒng)可安裝在汽車、船舶、地鐵等交通工具內(nèi)部，更加準(zhǔn)確的自動識別所監(jiān)視區(qū)域內(nèi)部的情況。
我們研發(fā)的基于樹莓派開源硬件平臺與無線網(wǎng)絡(luò)的嵌入式智能視頻監(jiān)控系統(tǒng)，攝像頭現(xiàn)場采集圖像，樹莓派現(xiàn)場分析理解圖像進(jìn)行人員檢測和計(jì)數(shù)，無線網(wǎng)絡(luò)將識別結(jié)果傳送給監(jiān)控中心計(jì)算機(jī)。只有出現(xiàn)違章情況時，如客車超載、客渡船乘員超載和未穿救生衣等，才將監(jiān)控區(qū)域的圖像傳送給監(jiān)控中心服務(wù)器并將違章代碼傳送到相關(guān)人員手機(jī)上，減少了傳輸數(shù)據(jù)量。通過嵌入式系統(tǒng)的使用，可以在現(xiàn)場進(jìn)行乘員檢測與計(jì)數(shù)、行人檢測與姿態(tài)估計(jì)等，第一時間發(fā)現(xiàn)違章現(xiàn)象，從而進(jìn)行有效監(jiān)管，具有較高的實(shí)用價值。
（1）熟悉樹莓派的硬件結(jié)構(gòu)及其性能，掌握構(gòu)建基于樹莓派的應(yīng)用系統(tǒng)硬件，利用板載的GPIO通用接口、I2C總線接口、SPI總線接口、串口等外部設(shè)備接口擴(kuò)展樹莓派的功能。
（2）基于安裝在監(jiān)控現(xiàn)場的通用USB攝像頭或樹莓派專用CSI攝像頭，設(shè)計(jì)開發(fā)運(yùn)行在樹莓派上的圖像和視頻采集程序模塊，并設(shè)置攝像頭的幀頻、視頻壓縮格式和圖像參數(shù)等。
（3）基于（2）中采集的圖像，研究行人檢測與跟蹤、乘員檢測和計(jì)數(shù)、人臉檢測與識別、計(jì)數(shù)等算法。算法運(yùn)行在樹莓派上，能夠理解圖像的內(nèi)容，能準(zhǔn)確定位到人。采用開源的計(jì)算機(jī)視覺函數(shù)庫（C/C++使用OpenCV），實(shí)現(xiàn)這些程序模塊以及開發(fā)接口支撐其擴(kuò)展。
（4）采用TCP/IP協(xié)議或Socket編程，將（3）中的圖像內(nèi)容分析結(jié)果傳回的遠(yuǎn)程監(jiān)控中心電腦，中心電腦對其遠(yuǎn)程控制。若監(jiān)控現(xiàn)場出現(xiàn)異?，F(xiàn)象，則將現(xiàn)場圖像也傳回，起到取證的作用。
（5）設(shè)計(jì)實(shí)現(xiàn)運(yùn)行在監(jiān)控中心電腦或監(jiān)控人員手機(jī)上的程序，接收來自樹莓派的采集圖像并實(shí)現(xiàn)屏幕顯示和文件保存，實(shí)現(xiàn)遠(yuǎn)程智能視頻監(jiān)控。
三、主要研究成果
搭建基于樹莓派與多種網(wǎng)絡(luò)連接方式的硬件系統(tǒng)；開發(fā)嵌入式智能視頻監(jiān)控軟件系統(tǒng)（包括樹莓派前端、基于PC或移動終端的后端）；具有適應(yīng)各種網(wǎng)絡(luò)的穩(wěn)定傳輸能力，并能實(shí)時接收請求，給出響應(yīng)；綜合其(1) (2) (3)個目標(biāo)，從而完成基于視頻的人員識別系統(tǒng)，前端檢測識別，后端控制監(jiān)控的一個便攜式系統(tǒng)；
發(fā)表專業(yè)論文1篇；申請軟件著作權(quán)1項(xiàng)。主要成績?nèi)缦拢?/span>
1. 張鵬飛, 金曉康, 湯倩, 張建明. 學(xué)習(xí)字典下自適應(yīng)稀疏度估計(jì)的分解去噪算法[J]. 福建電腦, 2015, (01): 10-12+31.
2. 陸朝銓, 李旭東, 張鵬飛, 金曉康, 張建明. 基于樹莓派硬件平臺與無線網(wǎng)絡(luò)的嵌入式智能視頻監(jiān)控系統(tǒng), 軟件著作權(quán)正在申請, 已繳納申請費(fèi)和代理費(fèi).
3. 張鵬飛, 金曉康. 基于樹莓派開源硬件平臺與無線網(wǎng)絡(luò)的嵌入式視頻監(jiān)控系統(tǒng), 2015年"華為杯"湖南省大學(xué)生計(jì)算機(jī)作品賽一等獎, 指導(dǎo)老師: 張建明.
4. 張鵬飛, 金曉康, 李旭東. 基于視頻的便攜式人員身份識別系統(tǒng), 2015年獲"北大青鳥郴州科泰杯"湖南省第十一屆軟件應(yīng)用作品大賽三等獎(嵌入式軟件類), 指導(dǎo)教師: 張建明, 熊兵.
5. 金曉康獲碩士研究生推薦免試資格, 已保送長沙理工大學(xué)2016級碩士研究生, 導(dǎo)師: 張建明.
四、研究方法和研究成果創(chuàng)新及特色
室內(nèi)場所人數(shù)統(tǒng)計(jì)是當(dāng)今智能視頻系統(tǒng)研究中一個十分活躍的新領(lǐng)域。該技術(shù)能夠被應(yīng)用在不同的公共室內(nèi)場所，發(fā)揮不同的作用。在程序化的工作場合中人數(shù)統(tǒng)計(jì)可預(yù)測人群流量，提高建筑設(shè)施或者公共設(shè)施的利用率。
人臉的自動檢測是一類具有很大挑戰(zhàn)性的問題，其主要難點(diǎn)在于：
1）人臉是一類高度非剛性的目標(biāo)，存在相貌，表情，膚色等差異；
2）人臉上可能會存在一些附屬物，諸如，眼鏡，胡須等；
3）人臉的姿態(tài)變化萬千，并且可能存在遮擋物；
4）待檢測圖像性質(zhì)的差異。比如：待檢圖像的分辨率；攝錄器材的質(zhì)量等；
5）光源的種類和角度。不同種類和角度的光源會對待檢測的人臉產(chǎn)生不同性質(zhì)的反射和不同區(qū)域的陰影。
當(dāng)前國內(nèi)外人流自動技術(shù)的方法主要有一下幾種：
1）基于形狀的人臉檢測計(jì)數(shù)
2）基于膚色特征的人臉檢測計(jì)數(shù)
3）基于模型學(xué)習(xí)的人臉檢測計(jì)數(shù)
這些主流的算法都有一定程度上的困難和存在不確定的因素：（1）中鑒于行人行走情況下姿勢的千變?nèi)f化，如何將重疊的行人目標(biāo)分割開來。行人穿著顏色差異不大時又將行人如何區(qū)分出來。（2）中當(dāng)人臉膚色差異不大時，如何將行人分離。（3）中利用統(tǒng)計(jì)的方法，采用SVM檢測架構(gòu)，取得了非常好的檢測效果。綜合上述，本系統(tǒng)采用將人臉訓(xùn)練，將HOG特征和Adaboost分類器相結(jié)合，保持了檢測效率的情況下提高檢測速度。
項(xiàng)目的創(chuàng)新點(diǎn)和特色：
1）本項(xiàng)目研究成果可廣泛應(yīng)用于各種智能視頻監(jiān)控系統(tǒng)、可視倒車系統(tǒng)、行車記錄儀、安防設(shè)備等電子產(chǎn)品的開發(fā)實(shí)現(xiàn)。
2）不依靠有線線路提供電力與網(wǎng)絡(luò)，使監(jiān)控系統(tǒng)的靈活性、便攜性、可靠性得到有效保障。
3）系統(tǒng)具有行人計(jì)數(shù)、救生衣檢測等功能，可以減小監(jiān)控人員的勞動強(qiáng)度。
4）使用最新推出的樹莓派這種開源硬件標(biāo)準(zhǔn)平臺進(jìn)行開發(fā)，使得產(chǎn)品功能的擴(kuò)展更加方便。
|
