Jetson TX2平臺上的無人駕駛系統(tǒng)研究與實(shí)現(xiàn)
2019年06月05日 10:59         所屬學(xué)院: []          點(diǎn)擊:


湖南省大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實(shí)驗(yàn)計(jì)劃

項(xiàng)  目  申  報(bào) 

 

項(xiàng)目名稱:  

  • 如果您無法在線瀏覽此 PDF 文件,則可以

  • 下載免費(fèi)小巧的 福昕(Foxit) PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載免費(fèi)的 Adobe Reader PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載此 PDF 文件

學(xué)校名稱

長沙理工大學(xué)

學(xué)生姓名

學(xué)  號

專      業(yè)

性 別

入 學(xué) 年 份

劉思遠(yuǎn)

卓越

201750080320

計(jì)算機(jī)科學(xué)與技術(shù)

      2017

廖科宇

卓越

201756110208

計(jì)算機(jī)科學(xué)與技術(shù)

2017

李健

卓越

201750080329

計(jì)算機(jī)科學(xué)與技術(shù)

      2017

周偏

卓越

201750080515

計(jì)算機(jī)科學(xué)與技術(shù)

      2017

鄧拓

卓越

201635090235

計(jì)算機(jī)科學(xué)與技術(shù)

      2016

指導(dǎo)教師

周書仁

職稱

副教授

項(xiàng)目所屬

一級學(xué)科

計(jì)算機(jī)科學(xué)與技術(shù)

項(xiàng)目科類(理科/文科)

理科

指導(dǎo)教師承擔(dān)科研課題情況

 

[1] 湖南省自然科學(xué)基金項(xiàng)目“人臉表情自動識別與情感認(rèn)知關(guān)鍵技術(shù)研究”(12JJ6057),2012.4-2014.3,3萬元、已結(jié)題、主持。

[2] 湖南省教育廳重點(diǎn)項(xiàng)目深度神經(jīng)網(wǎng)絡(luò)壓縮的理論方法與應(yīng)用研究(17A007),2017.6-2019.6,10萬元、在研、主持。

[3] 湖南省教育廳青年科學(xué)研究項(xiàng)目基于計(jì)算機(jī)視覺的行人檢測與行為識別方法研究”(13B132),2013.9-2016.85萬元、已結(jié)題、主持。

[4] 長沙市科技計(jì)劃項(xiàng)目智能視頻監(jiān)控中人體行為分析系統(tǒng)的開發(fā)與應(yīng)用”(K1203015-11),2012.4-2014.35萬元、已結(jié)題、主持。

[5] 湖南省教育廳科學(xué)研究項(xiàng)目圖像紋理特征分析關(guān)鍵技術(shù)研究”(11C0035),2011.6-2013.6,1萬元、已結(jié)題、主持。

[6] 博士科研啟動基金“視頻監(jiān)控下目標(biāo)智能識別與跟蹤系統(tǒng)的研究” ( 20091103),2009.12-2013.12,4萬元、已結(jié)題、主持。

項(xiàng)目研究和實(shí)驗(yàn)的目的、內(nèi)容和要解決的主要問題

 

1. 項(xiàng)目研究和實(shí)驗(yàn)的目的

實(shí)現(xiàn)Jetson TX2平臺上的無人駕駛系統(tǒng)設(shè)計(jì),完成對汽車的車速、自身車情,道路的路情、車況、交通標(biāo)識牌等駕駛狀況信息的實(shí)時采集,同時實(shí)時監(jiān)測路面的突發(fā)情況以及經(jīng)過的車輛。使開發(fā)的系統(tǒng)在人力釋放、交通運(yùn)輸、軍事作戰(zhàn)等方面起到幫助。

2. 項(xiàng)目研究和實(shí)驗(yàn)的內(nèi)容:

共有十項(xiàng):①車道線檢測、②交通標(biāo)志分類、③行為克隆、④前置車道邊界檢測、⑤車輛檢測與跟蹤、⑥無損卡爾曼濾波器、⑦PID控制技術(shù)、⑧模型預(yù)測控制技術(shù)、⑨路徑規(guī)劃技術(shù)、⑩道路標(biāo)記技術(shù)。

(1)車道線檢測。實(shí)現(xiàn)實(shí)時車道線檢測,主要包括攝像頭的標(biāo)定,應(yīng)用投影變換校正二值圖像,道路像素與道路邊界的檢測,計(jì)算道路的曲率與車輛相對于中心的位置。

 

 

   

圖1 攝像頭標(biāo)定

 

圖2 車道線檢測

(2)交通標(biāo)志分類。通過深度學(xué)習(xí)對不同的交通標(biāo)志進(jìn)行識別和分類,利用深層神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)知識對交通標(biāo)志進(jìn)行分類。本課題以比利時的交通標(biāo)識數(shù)據(jù)集為訓(xùn)練集和測試集驗(yàn)證系統(tǒng)的可行性,比利時的交通標(biāo)志分成六大類:警告標(biāo)志、優(yōu)先標(biāo)志、禁令標(biāo)志、強(qiáng)制性標(biāo)志、與停車和在路上等待相關(guān)的標(biāo)志、指示牌。

   

圖3 比利時交通標(biāo)志樣本

 

圖4 比利時交通標(biāo)志測試樣本

 

 

圖5 比利時交通標(biāo)志樣本子集

(3)行為克隆。設(shè)計(jì)和訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)在模擬器中駕駛汽車并克隆自己的駕駛行為模式,針對每幀圖像需要收集3個角度訓(xùn)練數(shù)據(jù),分別包含左右兩邊和正前方。

 

 

圖6  多角度數(shù)據(jù)采集與行為克隆

(4)前置車道邊界檢測。編寫實(shí)時分析車道邊界的程序,前置車道邊界檢測方法基本上可歸結(jié)為兩大類方法,一類為基于特征的識別方法,另一類為基于模型的識別方法。

 

圖7 前置車道邊界檢測

(5)車輛檢測與跟蹤。編寫前置車輛檢測的程序,訓(xùn)練一個基于SSD算法的車輛檢測程序,以便能夠?qū)崟r檢測出道路上車輛。準(zhǔn)備訓(xùn)練數(shù)據(jù),以KITTI車輛數(shù)據(jù)集為基礎(chǔ)。

 

圖8  KITTI車輛數(shù)據(jù)集

 

圖9  基于SSD算法的車輛檢測

(6)無損卡爾曼濾波器。該模塊用來實(shí)時追蹤非線性運(yùn)動的目標(biāo)。

 

 

圖10  無損卡爾曼濾波器

(7)PID控制技術(shù)。用來實(shí)時操縱車道上的車輛。

 

 

圖11  PID控制

8模型預(yù)測控制技術(shù)。實(shí)現(xiàn)模型的預(yù)測控制,以適應(yīng)命令之間額外的延遲。

 

圖12  模型預(yù)測控制

9路徑規(guī)劃技術(shù)。設(shè)計(jì)一個路徑規(guī)劃器,能夠創(chuàng)建平穩(wěn)、安全的路徑,實(shí)現(xiàn)車輛可沿道路流暢平穩(wěn)的駕駛。

 

 

圖13  路徑規(guī)劃

10道路標(biāo)記技術(shù)。設(shè)計(jì)一個全卷積神經(jīng)網(wǎng)絡(luò)在圖像中實(shí)時標(biāo)記道路的位置。

 

 

圖14  道路標(biāo)記

 

3. 要解決的主要問題:

(1)感知的數(shù)據(jù)獲取與分析算法;

(2)基于決策路徑的算法;

(3)基于傳感的數(shù)據(jù)推送程序設(shè)計(jì);

(4)特定模塊的硬件設(shè)計(jì)和與之相關(guān)的程序設(shè)計(jì);

(5)無人駕駛系統(tǒng)實(shí)現(xiàn);

(6)系統(tǒng)整體性能優(yōu)化、界面友好與人性化的體現(xiàn)。

 

國內(nèi)外研究現(xiàn)狀和發(fā)展動態(tài)

 

近幾年,無人駕駛與AI并列為大熱話題,關(guān)于無人駕駛應(yīng)用于實(shí)際的道路行駛的相關(guān)問題一直以來都頗有爭論。上個月,美國亞利桑那州州長Doug Ducey簽署了一份關(guān)于無人駕駛的行政命令:無駕駛員的純無人駕駛汽車允許在公共道路上通行;無獨(dú)有偶,美國加利福尼亞州行政法規(guī)辦公室批準(zhǔn)了一項(xiàng)新規(guī)定:美國加州同樣允許無駕駛員操控的“完全自動駕駛汽車”在公共道路上進(jìn)行測試。而在國內(nèi),上海發(fā)放了全國首批智能網(wǎng)聯(lián)汽車開放道路測試號牌,這意味著無人駕駛汽車走出封閉園區(qū)正式進(jìn)入路測階段。

而無人駕駛車輛必不可少的就是計(jì)算機(jī)視覺技術(shù),計(jì)算機(jī)視覺是應(yīng)運(yùn)時代而生的產(chǎn)物,用于計(jì)算機(jī)對外界圖形的信息處理,它由運(yùn)用廣泛的CNN的方法,運(yùn)算速度快,其運(yùn)用的車道檢測是大多數(shù)人面臨的主要問題,運(yùn)用的Laplacian邊緣檢測技術(shù)所需內(nèi)核小,但易被噪聲干擾,而謹(jǐn)慎的檢測器盡管運(yùn)用一些方法為更多的研究提供了額外的方法,但也限制了其本身的性能[1]。

自2003年起,就有各種無人駕駛車輛的研究,比如清華大學(xué)研制成功THMR-V(Tsinghua Mobile Robot-V)型無人駕駛車輛,能在清晰車道線的結(jié)構(gòu)化道路上完成巡線行駛,最高車速超過100km/h。

追溯無人駕駛技術(shù)的發(fā)展歷史,由國防科技大學(xué)自主研制的紅旗HQ3無人車,2011年7月14日首次完成了從長沙到武漢286公里的高速全程無人駕駛實(shí)驗(yàn),創(chuàng)造了中國自主研制的無人車在復(fù)雜交通狀況下自主駕駛的新紀(jì)錄,標(biāo)志著中國無人車在復(fù)雜環(huán)境識別、智能行為決策和控制等方面實(shí)現(xiàn)了新的技術(shù)突破,達(dá)到世界先進(jìn)水平,而其采用的就是人工智能的神經(jīng)網(wǎng)絡(luò)技術(shù)。

說到神經(jīng)網(wǎng)絡(luò)對自動駕駛汽車的作用,重點(diǎn)之一是其運(yùn)用了反褶積圖,以顯示影響網(wǎng)絡(luò)輸出的圖像區(qū)域。其二是運(yùn)用建立數(shù)學(xué)模型和使用數(shù)學(xué)公式的方法檢驗(yàn)因果關(guān)系。但總而言之實(shí)現(xiàn)的關(guān)鍵方法包含三個步驟:(1)編碼器卷積特征提取;(2)通過視覺注意機(jī)制的粗粒度譯碼器;(3)細(xì)粒度的解碼器[2]因果視覺顯著性檢測和注意力地圖的細(xì)化。

2013年,百度開始研發(fā)自動駕駛汽車。百度方面證實(shí),百度已經(jīng)將視覺、聽覺等識別技術(shù)應(yīng)用在無人汽車系統(tǒng)研發(fā)中,負(fù)責(zé)該項(xiàng)目的是百度深度學(xué)習(xí)研究院。2015年年末,百度無人駕駛車在北京進(jìn)行全程自動駕駛測跑,可根據(jù)不同場景切換狀態(tài),最高時速達(dá)100km/h。2016年,北京理工大學(xué)設(shè)計(jì)了一款無人駕駛賽車,百公里加速僅3秒,使用雙目攝像頭用于行人偵測、避障及路線規(guī)劃。70年代開始,美國、英國、德國等發(fā)達(dá)國家開始進(jìn)行無人駕駛汽車的研究,在可行性和實(shí)用化方面都取得了突破性的進(jìn)展。美國最為發(fā)展前景好的是谷歌和特斯拉。

2014年12月21日,谷歌宣布,其首款成型的無人駕駛原型車制造完畢,將會在2015年正式進(jìn)行路測。谷歌擁有先進(jìn)的軟件和算法基礎(chǔ),其自動駕駛汽車擁有攝像頭、GPS、雷達(dá)與激光傳感器,可以極為靈敏地獲取周圍環(huán)境的信息。自2009年起,谷歌自動駕駛汽車已在自主模式之下行駛了超出120萬英里。在這樣的磨練中,系統(tǒng)對于應(yīng)對各類狀況已經(jīng)積攢了豐富的經(jīng)驗(yàn)。谷歌的自動駕駛車可以識別各類物體甚至是交警的手勢,谷歌強(qiáng)大的軟件算法能力由此得以體現(xiàn)。

那么究竟無人駕駛的事故率和傳統(tǒng)駕駛的事故率孰高孰低,從警方給出的事故率和Google報(bào)告中的事故率來看,結(jié)果是無人駕駛高于傳統(tǒng)駕駛一倍,但是有一些導(dǎo)致結(jié)果不穩(wěn)定的因素,如路面刮蹭的小事故警方根本不會報(bào)道,但是我們可以用統(tǒng)計(jì)學(xué)的方式來計(jì)算論證,最終得到結(jié)果:無人駕駛的事故率確實(shí)小于傳統(tǒng)駕駛的事故率。到目前為止,Google汽車在自主模式下發(fā)生的最常見的碰撞事件類型是Google汽車在停止或幾乎不動時被另一輛車追尾,而在所有碰撞事故中,Google汽車并沒有參與任何單一車輛的事故,且在所有碰撞事故中只有一次撞車涉及可能的傷害且傷害程度低于預(yù)期值。但由于事故數(shù)量較少,所以只能大致得出Google汽車自主模式下的碰撞率低于人類駕駛車輛[3],且在無法避免的碰撞事故中能夠減輕碰撞程度的結(jié)論。

特斯拉的優(yōu)勢則在于其速度之快,在其他企業(yè)對自動駕駛技術(shù)尚處研究階段之時,特斯拉已經(jīng)投入量產(chǎn)并創(chuàng)造出一定的規(guī)模了。特斯拉本身在自動駕駛方面就具備技術(shù)層面的優(yōu)勢,并且對自動駕駛技術(shù)又存在一種特別的執(zhí)著。其車型擁有用以識別周圍環(huán)境的超聲波傳感器、辨別前方物體的前置攝像頭與雷達(dá),以及無數(shù)次路測累積的高精度衛(wèi)星地圖。

但這個領(lǐng)域還有一些問題,比如:如何提高無人駕駛領(lǐng)域中改進(jìn)消失點(diǎn)的方法。相較于傳統(tǒng)的RANSAC算法,Moon提出的harmory算法可以提高消失點(diǎn)檢測的準(zhǔn)確率,RANSAC算法的本質(zhì)闡釋出RANSAC算法具有隨機(jī)性[4],最后通過數(shù)據(jù)對比的方式,說明了HS算法在準(zhǔn)確率這一方面優(yōu)于RANSAC算法。

無人駕駛技術(shù)的不斷發(fā)展和更新,是建立在對我們手動駕駛的過程中發(fā)生過的各類問題和情況的大量研究的基礎(chǔ)上的,是大量數(shù)據(jù)統(tǒng)計(jì)分析進(jìn)而得出結(jié)論的結(jié)晶。而日益增長的數(shù)據(jù)庫與信息庫給我們提取幫助自動駕駛了解和預(yù)測復(fù)雜交通場景的任務(wù)提出了愈來愈大的挑戰(zhàn),現(xiàn)有的文獻(xiàn)還沒有提供從大規(guī)模數(shù)據(jù)中自動學(xué)習(xí)交通原語的方法,而最近引入的一種非參數(shù)貝葉斯學(xué)習(xí)方法[5],實(shí)驗(yàn)結(jié)果表明,非參數(shù)貝葉斯學(xué)習(xí)方法能夠從二元和連續(xù)事件共存的流量場景中提取交通原語。

無人駕駛技術(shù)繼續(xù)迅猛發(fā)展,英國第一輛無人駕駛汽車于2015年2月亮相,它是旨在幫助乘客,購物者和老年人短距離出行。新的無人駕駛汽車將于本周在英國格林威治亮相,被稱為Lutz Pathfinder。

而幾乎同時在德國漢堡的Ibeo公司應(yīng)用先進(jìn)的激光傳感技術(shù)把無人駕駛汽車變成了現(xiàn)實(shí):這輛無人駕駛智能汽車在車身安裝了6臺名為“路克斯”(LUX)的激光傳感器,由普通轎車改裝而成,可以在錯綜復(fù)雜的城市公路系統(tǒng)中無人駕駛。這歸功于車內(nèi)安裝的無人駕駛設(shè)備,包括激光攝像機(jī)、全球定位儀和智能計(jì)算機(jī)。

無人駕駛技術(shù)還有廣闊的應(yīng)用平臺,可以想到的是,目前無人駕駛地面作戰(zhàn)平臺越來越適應(yīng)現(xiàn)代化戰(zhàn)爭的需要,較高的雷達(dá)測量精度能幫助準(zhǔn)確識別出作戰(zhàn)惡劣環(huán)境的周圍目標(biāo),其中一個重要問題就是考慮確保無編隊(duì)碰撞事故,而這取決于無人作戰(zhàn)地面平臺控制算法的設(shè)計(jì),這個設(shè)計(jì)的難點(diǎn)在于,惡劣的作戰(zhàn)環(huán)境下,道路上并沒有車道標(biāo)志,因此,車的前行路線不能太過于依賴于車道線,算法應(yīng)該可靠地識別包括靜態(tài)物體和動態(tài)車輛在內(nèi)的目標(biāo)[6],從而確保各自安全行駛。

最近人們還通過研究汽車共享業(yè)務(wù)模型的共享無人駕駛出租車體系后得出結(jié)論,共享自主車輛(SAV)車隊(duì)可有效地減少停車位,節(jié)約城市空間,減少溫室氣體和有害物質(zhì)地排放,一個無人駕駛車隊(duì)可以基本替代一個城市中的所有私家車,并滿足所有人的出行需求,因?yàn)闊o人駕駛車輛擁有更好的安全性能,更方便和優(yōu)化的旅行,而且能減少擁堵,降低總體成本,降低停車空間要求等。具體來說可以采取類似于出租車服務(wù)或點(diǎn)對點(diǎn)實(shí)時乘車分享的形式[7]。與基于應(yīng)用程序的汽車共享一樣,這些形式的乘坐共享已被證明非常受歡迎。

在2016年的CVPR會議上重點(diǎn)講述了運(yùn)用視覺注意力的神經(jīng)網(wǎng)絡(luò)模型來處理無人駕駛汽車的問題。它比起一般的難以尋蹤的神經(jīng)網(wǎng)路模型,有著易查看的特點(diǎn)。用于無人駕駛汽車,它能將熱力圖傳達(dá)給CNN判斷,使車輛安全駕駛。該模型的實(shí)現(xiàn)方法共三大步驟:三個步驟:(1)編碼器:卷積特征提取,(2)通過視覺注意機(jī)制的粗粒度譯碼器,以及(3)細(xì)粒度的解碼器:因果視覺顯著性檢測和注意力地圖的細(xì)化。三大步驟后也存有檢驗(yàn)步驟以確保正確。模型建立完成后,需要在天氣晴朗時拍攝大量視頻作為練習(xí)數(shù)據(jù),花不到24小時在NVIDIA Titan X Pascal GPC上訓(xùn)練,嘗試了三個不同的懲罰系數(shù)來理解模型決策的原理,使模型能夠注意道路的要素如車道標(biāo)記、護(hù)欄和前方車輛。最后得出結(jié)論,他們與相同的基礎(chǔ)CNN相比,(i)在沒有注意的情況下,對注意力的控制不能降低控制的準(zhǔn)確性。(ii)原始的注意突出了圖像中的可解釋特征,而(iii)因果過濾通過去除對輸出沒有顯著影響的特征[8],達(dá)到了解釋復(fù)雜性的有效降低的效果。

2017年的ICCV等權(quán)威會議都強(qiáng)調(diào)了自動無人駕駛的研究重心。我們基于Winograd的最小濾波算法引入了一類新的卷積神經(jīng)網(wǎng)絡(luò)快速算法。由于這些算法計(jì)算量最小,因此這些算法在小型濾波器和小型設(shè)備方面表現(xiàn)優(yōu)異。與直接卷積相比,這些算法可以將convnet層的算術(shù)復(fù)雜度降低4倍。幾乎所有的算術(shù)運(yùn)算都是通過足夠大的密集矩陣乘法來進(jìn)行計(jì)算的,即使批量很小時也可以進(jìn)行有效計(jì)算,對于自行駕駛汽車的行人檢測數(shù)據(jù)計(jì)算分析非常有幫助。與傳統(tǒng)的FFT卷積算法相比,存儲器要求也很輕。這些因素使實(shí)際實(shí)施成為可能。我們對NVIDIA Maxwell GPU的實(shí)施實(shí)現(xiàn)了所有批量測量的最先進(jìn)的吞吐量,從1到64,同時使用大約16MB的工作空間內(nèi)存。深度卷積神經(jīng)網(wǎng)絡(luò)(convnets)在圖像識別問題上達(dá)到了最先進(jìn)的結(jié)果。網(wǎng)絡(luò)需要幾天的GPU時間來訓(xùn)練,并且在分類過程中也需要大量的計(jì)算資源。數(shù)據(jù)集較大的和模型導(dǎo)致更高的準(zhǔn)確性,但同時也增加了計(jì)算時間。因此,在神經(jīng)網(wǎng)絡(luò)中進(jìn)行神經(jīng)網(wǎng)絡(luò)分析時,如何快速地計(jì)算網(wǎng)絡(luò)成了關(guān)鍵。

而且在無人駕駛的過程中,假設(shè)人們看不到任何工作原理,人們也是不愿意乘坐的。但是如果全方位的展示各種參數(shù),各種傳感器數(shù)據(jù)。任誰都會感到頭大。若想使無人駕駛車輛快速地融入社會,使人們接受并歡迎,首要的工作任務(wù)應(yīng)該是如何讓乘客感到安全和放心,而假如乘客可以在車內(nèi)實(shí)時地關(guān)注車外的各種路況信息,但是又不能單純地將各種數(shù)據(jù)信息硬塞給乘客,在這種情況下,無人駕駛的可視化便成了現(xiàn)在的研究重心之一,即通過神經(jīng)卷積網(wǎng)絡(luò)將處理過的數(shù)據(jù)信息以簡單直觀的圖像呈現(xiàn)給乘客。通過可視化關(guān)注無人駕駛,成為無人駕駛領(lǐng)域中的一個方向。目前,已取得顯著技術(shù)突破。美國加利福尼亞大學(xué)伯克利分部將圖像區(qū)域傳輸?shù)阶R別網(wǎng)絡(luò)(CNN)做出判斷,調(diào)整注意力權(quán)重,最后講圖像呈現(xiàn)給用戶[2]。該方法已經(jīng)被證明在真實(shí)模型中具有有效性。

新硬件Jetson TX2是嵌入式人工智能超級計(jì)算平臺,可以在終端上部署人工智能計(jì)算能力,同時提供了JetPack SDK全套軟件的支持。

參考文獻(xiàn)

[1] Brilian Tafjira Nugraha,Shun-Feng Su,Fahmizal. Towards self-driving car using convolutional neural network and road lane detector[C].2017, 2nd International Conference on Automation, Cognitive Science, Optics, Micro Electro--Mechanical System, and Information Technology (ICACOMIT),65-69.

[2] Jinkyu Kim,John Canny. Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention[C]. IEEE International Conference on Computer Vision(ICCV), Venice, Italy, 2017: 2961-2969.

[3] Eric R. Teoh, David G. Kidd. Rage against the machine? Google's self-driving cars versus human drivers[J]. Journal of Safety Research, 2017,63(1):57-60.

[4] Yoon Young Moon,Zoog Woo Geem,Gi-Tae Han. Vanishing point detection for self-driving car using harmony search algorithm[J]. Swarm and Evolutionary,Computation, 2018, In press:1-9.

[5] Wenshuo Wang, Ding Zhao. Extracting Traffic Primitives Directly From Naturalistically Logged Data for Self-Driving Applications[J]. IEEE Robotics and Automation Letters,2018,3(2):1223-1229.

[6] Jiarui Li, Lei Han,Zhipeng Dong, et.al. A target recognition algorithm applied to the unmanned ground combat platform in curve driving[C]. IEEE International Conference on Unmanned Systems (ICUS), 2017, 192-196.

[7] Luis M. Martinez, José Manuel Viegas. Assessing the impacts of deploying a shared self-driving urban mobility system: An agent-based model applied to the city of Lisbon, Portugal[J]. International Journal of Transportation Science and Technology, 2017, 6(1):13-27.

[8] Andrew Lavin, Scott Gray. Fast Algorithms for Convolutional Neural Networks[C]. IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Las Vegas, NV, USA, 2016:4013-4021.

本項(xiàng)目學(xué)生有關(guān)的研究積累和已取得的成績

劉思遠(yuǎn):計(jì)算機(jī)科學(xué)與技術(shù)專業(yè),熟練掌握C語言與C++語言,能使用Python3語言進(jìn)行編程,通過了英語四級考試,對LiDAR(光學(xué)雷達(dá))有一定了解。

 

廖科宇:計(jì)算機(jī)科學(xué)與技術(shù)專業(yè),熟練掌握C語言與C++語言,對NVIDIA下的CUDA運(yùn)算平臺有一定了解;通過了英語四級考試,了解計(jì)算機(jī)視覺的相關(guān)知識。

 

李?。河?jì)算機(jī)科學(xué)與技術(shù)專業(yè),熟練掌握C語言與C++語言,能使用TensorFlow軟件庫,掌握了MFC的可視化編程方法,通過了英語四級考試,對GPS和慣性傳感器有一定了解。

 

周偏:計(jì)算機(jī)科學(xué)與技術(shù)專業(yè),熟練掌握C語言與C++語言,熟練使用linux系統(tǒng),能使用MFC編寫窗口對話程序,通過了英語四級考試,對ROS(機(jī)器人操作系統(tǒng))有一定了解。

 

鄧拓:計(jì)算機(jī)科學(xué)與技術(shù)專業(yè),熟練掌握C++、Python語言,掌握了MFC的可視化編程方法,通過了英語四級考試,對OpenCV和圖像識別有一定了解。

 

 

 

 

項(xiàng)目的創(chuàng)新點(diǎn)和特色

1. 使用英偉達(dá)公司最新的Jetson TX2處理器作為本次項(xiàng)目的運(yùn)算平臺,具有低功耗 (7.5w) 和高性能兩大亮點(diǎn)。

2. 實(shí)現(xiàn)無人駕駛技術(shù)需要融合計(jì)算機(jī)領(lǐng)域,多方面的前沿技術(shù),如:光學(xué)雷達(dá)系統(tǒng),基于ROS的無人駕駛系統(tǒng),基于計(jì)算機(jī)視覺的無人駕駛感知系統(tǒng),基于Spark與ROS分布式無人駕駛模擬平臺和GPS及慣性傳感器的應(yīng)用。

3. 曾有專業(yè)人士預(yù)測“最多再過25年,配備了完善人工智能的無人駕駛系統(tǒng)將徹底取代人類司機(jī)。但是,眾所周知,無人駕駛技術(shù)并非完美,僅2017年就出現(xiàn)多次無人駕駛事故,本次項(xiàng)目追蹤時代的敏感話題,用前沿的硬件系統(tǒng)進(jìn)行二次開發(fā),我們將盡可能地開發(fā)與完善無人駕駛系統(tǒng)。

4. 無人駕駛系統(tǒng)符合人工智能時代的時代主題,如果無人駕駛系統(tǒng)取得重大突破,人們的生活方式將發(fā)生巨大變化,極大便利人們生活,提高人們的生活水平。

 

 

項(xiàng)目的技術(shù)路線及預(yù)期成果

 

 

Jetson TX2平臺上的無人駕駛系統(tǒng)是將視覺計(jì)算、信息傳遞、圖像處理和模式識別技術(shù)結(jié)合在一起的綜合信息處理平臺。它將車載傳感器實(shí)時觀測到的各種路況信息經(jīng)過采集、處理并經(jīng)過準(zhǔn)確識別,快速給出實(shí)時準(zhǔn)確的路況報(bào)告,為車輛進(jìn)一步的安全行駛提供科學(xué)依據(jù),整個系統(tǒng)主要分為三部分:圖像信息采集部分、圖像處理與模式識別部分、行進(jìn)與方向控制部分。該系統(tǒng)框架如圖15所示。

 

 

 

 

 

 

15 系統(tǒng)框架

1、圖像信息采集部分

(1)道路圖像信息的采集。依靠車載攝像頭傳感器完成并將圖像信息傳遞給處理器進(jìn)行加工。

(2)圖像預(yù)處理。對數(shù)字圖像信息進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換,形狀變換,翻轉(zhuǎn),高亮,歸一化,平滑復(fù)原等操作,從而增強(qiáng)有關(guān)信息的可檢測性和最大限度地簡化數(shù)據(jù),以提高特征抽取、圖像分割、圖像識別的可靠性高斯平滑核如下圖16所示。

 

16 高斯平滑核

2、圖像處理與模式識別部分

1)識別車道線和汽車前置車道邊界。依靠圖像處理和深度學(xué)習(xí)技術(shù),將每一幀的圖像進(jìn)行反向透視,確定車道線位置與走向,再利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)完成對車道線的特征提取和分類,最后將不同情況即遮擋,陰影,逆光,圖像質(zhì)量,路況,道路問題都不同的數(shù)據(jù)加入訓(xùn)練集進(jìn)行訓(xùn)練,保證車輛在不會越過邊界的前提下安全穩(wěn)定地行駛。車道線檢測和汽車前置車道邊界處理如下圖所示。

 

 

 

17 車道線檢測和汽車前置車道邊界處理

2)識別交通標(biāo)志。依靠圖像處理和模式識別技術(shù),將圖像信息轉(zhuǎn)化為數(shù)字信息與已知的交通標(biāo)識模式對照以辨別出具體交通標(biāo)志種類,確保車輛在無人駕駛過程中在不違反交通規(guī)則的前提下行駛或停止。具體依靠SSD模型結(jié)構(gòu)對圖像初始層上添加逐漸減小的卷積層以便進(jìn)行多尺度預(yù)測,之后的每一個新添加的層,可以使用一系列的卷積核進(jìn)行預(yù)測,在每個位置上預(yù)測出一個相應(yīng)的值,即相對其他box的偏移量,這里的box就是在特征圖中各處預(yù)測的若干個box,基本完成后再進(jìn)行訓(xùn)練和測試。

(3)進(jìn)行車輛和行人的檢測與跟蹤。運(yùn)用圖像處理與模式識別技術(shù),仍可以利用SSD架構(gòu)標(biāo)記出路上的車輛和行人并進(jìn)行實(shí)時的追蹤,以便在行駛中可及時地跟車或讓行,保證乘客安全。和之前一樣,可以使用SSD卷積神經(jīng)網(wǎng)絡(luò)box的概念進(jìn)行對象檢測,設(shè)置不同尺寸和比率的預(yù)定義框,然后對于每一個box,SSD卷積網(wǎng)絡(luò)檢測該box內(nèi)是否存在物體,并計(jì)算物體邊界框和固定boxes之間的偏移量,最后再對偏移量使用損失函數(shù)最小化,詳細(xì)流程如圖18。

18 交通標(biāo)志識別

車輛檢測算法如下圖所示:

 

19 車輛檢測示意圖

車輛檢測步驟實(shí)現(xiàn)方法:

Step1:首先是圖像預(yù)處理

(1)陰影圖像處理:對圖像陰影處理是為了陰影與目標(biāo)有效分離,主要包括陰影檢測和陰影去除兩部分。常用到的方法有:基于泊松方程的陰影去除、基于梯度域的陰影去除、基于成對區(qū)域的陰影去除、使用金字塔的陰影去除、使用子區(qū)域匹配亮度轉(zhuǎn)移的陰影去除等。

(2)霧霾圖像處理:對霧霾降質(zhì)圖像的儲量方法有很多,主要有基于圖像增強(qiáng)和基于物理模型兩類。相關(guān)算法需要基于偏微分方程、深度關(guān)系、先驗(yàn)知識等算法上進(jìn)行改進(jìn),以便取得較為理想的效果。

(3)地物遮擋處理:拍到的畫面中經(jīng)常會出現(xiàn)車輛被地物或車輛間相互遮擋的情況,對車輛識別形成很大的干擾。解決地物遮擋的方法主要有特征模型、統(tǒng)計(jì)模型、推理和三維模型。特征模型和統(tǒng)計(jì)模型的方法應(yīng)用最為廣泛。

(4)陰天圖像處理:陰天會造成圖像中車輛對比度降低,邊緣輪廓信息模糊,給車輛識別帶來嚴(yán)重干擾。通常采用圖像增強(qiáng)的方法削弱或去除圖像中某些干擾信息,根據(jù)算法處理的范圍可分為全局處理和局部處理。

Step2:其次是車輛特征提取:

(1)人工特征提取:過去幾十年,人工特征提取在圖像模式識別領(lǐng)域一直占據(jù)主導(dǎo)地位,其主流思想是先采用區(qū)域選擇方法定位提取感興趣的區(qū)域,然后手工設(shè)計(jì)提取目標(biāo)特征。車輛特征提取建立在車輛檢測的基礎(chǔ)上,先搜索定位包含車輛的區(qū)域,再提取有用的車輛特征信息。傳統(tǒng)的車輛檢測方法采用基于滑動窗口的窮盡策略對整幅圖像遍歷,通過設(shè)置不同的尺度、長寬比,搜索包含目標(biāo)所有可能出現(xiàn)的位置。近年來,以AdaBoost框架和DPM框架的各種改進(jìn)算法堪稱佳作,取得了較好的效果。

(2)自動學(xué)習(xí)提取特征:從大量的訓(xùn)練樣本圖像中自動學(xué)習(xí)提取特征,神經(jīng)網(wǎng)絡(luò)一度被給予厚望。但其發(fā)展出現(xiàn)了瓶頸:訓(xùn)練容易出現(xiàn)擬合、算法復(fù)雜、訓(xùn)練速度慢。近年來,伴隨著GPU和深度學(xué)習(xí)的快速發(fā)展,彌補(bǔ)了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不足。深度學(xué)習(xí)的本質(zhì)是通過多層非線性變換,從大規(guī)模數(shù)據(jù)集中自動學(xué)習(xí)特征。深層的結(jié)構(gòu)使其具有極強(qiáng)的表達(dá)能力和學(xué)習(xí)能力,尤其擅長提取復(fù)雜的全局特征和上下文信息。得益于卷積神經(jīng)網(wǎng)絡(luò)和候選區(qū)域算法,以R-CNN為代表的目標(biāo)檢測方法開啟了深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測的先河。

 Step3:最后是分類器設(shè)計(jì):

分類器是解決目標(biāo)識別的有效工具。常用的分類器有最小距離分類器、貝葉斯網(wǎng)絡(luò)分類器、人工神經(jīng)網(wǎng)絡(luò)分類器、支持向量機(jī)等。目前應(yīng)用最為廣泛的分類器是神經(jīng)網(wǎng)絡(luò)分類器和支持向量機(jī)。

 

 

 

行人檢測算法

Step1: 首先,基于背景建模,注意以下幾個方面:必須適應(yīng)環(huán)境的變化;相機(jī)抖動引起畫面的抖動(比如手持相機(jī)拍照時候的移動);圖像中密集出現(xiàn)的物體;必須能夠正確的檢測出背景物體的改變;物體檢測中往往會出現(xiàn)Ghost區(qū)域,Ghost區(qū)域也就是指當(dāng)一個原本靜止的物體開始運(yùn)動,背靜差檢測算法可能會將原來該物體所覆蓋的區(qū)域錯誤的檢測為運(yùn)動的,這塊區(qū)域就成為Ghost,當(dāng)然原來運(yùn)動的物體變?yōu)殪o止的也會引入Ghost區(qū)域,Ghost區(qū)域在檢測中必須被盡快的消除。

Step2: 其次,提取出前景運(yùn)動的目標(biāo),在目標(biāo)區(qū)域內(nèi)進(jìn)行特征提取,提取的特征主要有目標(biāo)的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經(jīng)網(wǎng)絡(luò)、SVM、adaboost以及現(xiàn)在被計(jì)算機(jī)視覺視為寵兒的深度學(xué)習(xí)。

Step3: 然后,根據(jù)大量的樣本構(gòu)建行人檢測分類器,利用分類器進(jìn)行分類,判斷是否包含行人,要注意行人的姿態(tài)、服飾各不相同、復(fù)雜的背景、不同的行人尺度以及不同的光照環(huán)境;提取的特征在特征空間中的分布可能不夠緊湊;分類器的性能受訓(xùn)練樣本的影響較大;離線訓(xùn)練時的負(fù)樣本無法涵蓋所有真實(shí)應(yīng)用場景的情況。

 

 

3、行進(jìn)與方向控制部分。

1)預(yù)測和更新車輛位置。通過無損卡爾曼濾波器,在已測得實(shí)時車輛速度的條件下,預(yù)測下一幀圖像中車輛的位置并實(shí)時更新,保證車輛能夠平穩(wěn)地行駛或停止。首先需要產(chǎn)生sigma點(diǎn)集并計(jì)算其均值,后寫出對估計(jì)狀態(tài)的不確定性即協(xié)方差矩陣,之后通過公式與矩陣變換預(yù)測sigma點(diǎn)集和其均值與方差,最后完整地按照卡爾曼濾波的更新步驟計(jì)算即可,完整流程如圖20。

 

 

 

20 車輛位置的預(yù)測與更新

車輛位置預(yù)測與更新算法:

Step1: 首先該算法應(yīng)在GPU上運(yùn)行,不采用粒子濾波框架,而使用卡爾曼濾波可及時獲得準(zhǔn)確特征。

Step2: 其次對整個Network,進(jìn)行大量訓(xùn)練,對于每個Branch網(wǎng)絡(luò)作訓(xùn)練mini-batch,選擇32個正樣本和96個負(fù)樣本(從大量負(fù)樣本中高度篩選得到)。

Step3: 最后進(jìn)行跟蹤,對每個待跟蹤目標(biāo)建立一個FC6全連接層。

I.對于輸入每一幀圖像,在該目標(biāo)位置附近采樣256個 Box 作為Candidates;

II. 所有Candidate 歸一化到 107*107尺寸,輸入到訓(xùn)練好的 MD-Net 網(wǎng)絡(luò)(shared + FC6-k);

III. 網(wǎng)絡(luò)輸出是一個二維的向量(Box ID,目標(biāo)概率),最終目標(biāo)是概率值最高的Box;

每隔一段時間,根據(jù)可行度高的正負(fù)樣本,進(jìn)行網(wǎng)絡(luò)更新。

 

(2)調(diào)節(jié)車輛方向。通過PID控制,利用實(shí)時傳遞的信號對被控車輛的行進(jìn)方向進(jìn)行控制與調(diào)節(jié),基本原理如圖21

21 PID調(diào)節(jié)基本原理

3)中央控制器及輔助通信模塊。本項(xiàng)目采用Jetson TX2為核心實(shí)現(xiàn),具備實(shí)現(xiàn)低功耗與64位數(shù)據(jù)處理的能力。中央控制器核心板,如圖22所示。

 

 

圖22 中央控制器核心板

預(yù)期成果:

(1)研發(fā)一套有實(shí)用價值無人駕駛系統(tǒng);

(2)申請1~2項(xiàng)軟件著作權(quán);

(3)發(fā)表專業(yè)論文2~4篇;

(4)項(xiàng)目研究報(bào)告。

 

年度目標(biāo)和工作內(nèi)容(分年度寫)

 

 

本項(xiàng)目計(jì)劃時間從2018年3月到2020年6月完成,具體時間進(jìn)度安排如下:

(1)2018年3月至2018年6,閱讀相關(guān)的科技參考文獻(xiàn),完成項(xiàng)目申報(bào)書,收集資料及購買相關(guān)的電子元器件;

(2)2018年7月至2018年9,完成電源模塊、車載傳感器模塊的代碼調(diào)試;

(3)2018年10月至2018年12,完成圖像處理模塊的代碼調(diào)試并撰寫相關(guān)專業(yè)論文;

(4)2019年1月至2019年3,完成模式識別模塊的代碼調(diào)試并撰寫相關(guān)專業(yè)論文

(5)2019年4月至2019年5,完成車輛和行人檢測與跟蹤標(biāo)記模塊的代碼調(diào)試;

6)2019年6月至2019年7,完成無損卡爾曼濾波器模塊的代碼調(diào)試并撰寫相關(guān)專業(yè)論文;

7)2019年8月至2019年9,完成PID控制模塊的硬件安裝與代碼調(diào)試并撰寫相關(guān)專業(yè)論文

8)2019年10月至2020年1,通過虛擬影像測試系統(tǒng)的性能及完善優(yōu)化;

9)2020年2月至2020年3,測試系統(tǒng)的性能及完善優(yōu)化,撰寫結(jié)題報(bào)告,提交總結(jié)報(bào)告。

指導(dǎo)教師意見

Jetson TX2平臺上的無人駕駛系統(tǒng)融合了多個學(xué)科的知識,項(xiàng)目組所做的技術(shù)方案合理,對項(xiàng)目中的關(guān)鍵問題把握準(zhǔn)確,前期工作準(zhǔn)備充分,項(xiàng)目組學(xué)生具備較強(qiáng)的理論和實(shí)踐能力,項(xiàng)目實(shí)用性強(qiáng),具有良好的創(chuàng)新意識,能夠完成該項(xiàng)目的研發(fā)。

同意該組學(xué)生申報(bào)“大學(xué)生創(chuàng)新性實(shí)驗(yàn)計(jì)劃項(xiàng)目”。

 

簽字:                   日期:

 

黄色在线网站wwwwww,亚洲一区免费观看,疯狂丑小鸭2,特黄毛片官网免费看