基于盲道識別的智能導航盲杖
2019年06月05日 10:57         所屬學院: []          點擊:


附件5

 

湖南省大學生研究性學習和創(chuàng)新性實驗計劃

項  目  申  報 

 

項目名稱:

  • 如果您無法在線瀏覽此 PDF 文件,則可以

  • 下載免費小巧的 福昕(Foxit) PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載免費的 Adobe Reader PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載此 PDF 文件

學校名稱

長沙理工大學

學生姓名

學  號

專      業(yè)

性 別

入學年份

賀佐強

201554080231

通信工程

2015

郭開敏

201558080101

網(wǎng)絡工程

2015

羅選強

201654080130

通信工程

2016

章銳

201630010229

計算機科學與技術(shù)

2016

劉靈坤

201756110207  

計算機科學與技術(shù)

男  

2017

指導教師

熊兵/桂彥

職稱

副教授/講師

項目所屬

一級學科

計算機科學技術(shù)

項目科類(理科/文科)

理科

學生曾經(jīng)參與科研的情況

本項目組成員均為長沙理工大學學生,他們勤奮好學,喜歡鉆研計算機硬件與程序設計,對物聯(lián)網(wǎng)應用開發(fā)有著濃厚的興趣。項目組成員已經(jīng)在創(chuàng)新實驗室學習掌握了嵌入式開發(fā)技術(shù),已經(jīng)有了本項目開發(fā)所需的專業(yè)技術(shù)能力。項目組成員具體介紹如下:

賀佐強:計算機與通信工程學院2015級學生,曾參與開發(fā)智能垃圾桶、智能出行盲杖等IT創(chuàng)新作品,并榮獲中國大學生計算機設計大賽全國二等獎、中國大學生智能設計大賽三等獎、湖南省大學生物聯(lián)網(wǎng)應用創(chuàng)新設計大賽三等獎、湖南省大學生程序設計競賽應用開發(fā)類三等獎。掌握51單片機/STM32裸機開發(fā)、熟悉linux操作系統(tǒng)下的設備驅(qū)動開發(fā),積累了較豐富的嵌入式開發(fā)經(jīng)驗,擁有良好的團隊合作精神。

郭開敏:計算機與通信工程學院2015級學生,學習認真努力,連續(xù)兩學年獲校獎學金。同時擔任院分團委學生會分團委副書記,責任感強,有良好的組織協(xié)調(diào)與團隊合作能力,曾參加長沙理工大學物聯(lián)網(wǎng)大賽并獲團隊一等獎,參加湖南省第十三屆“中仁教育杯”計算機程序設計大賽獲團隊三等獎。

羅選強:計算機與通信工程學院2016級學生,學習能力強,有較強的團隊合作精神。熟悉51單片機和stm32系列芯片編程,曾參加長沙理工大學“物電杯”比賽和“IT創(chuàng)意設計大賽”,參與“盲人的第三只眼”和“空氣凈化器”均獲二等獎。

章銳:計算機與通信工程學院2016級學生,學習認真,有較好的團隊合作精神,基本掌握了C/C++,曾參加2016-2017年計算機與通信工程學院卓越工程師創(chuàng)新課題《基于圖像融合技術(shù)的真實場景重現(xiàn)系統(tǒng)設計與實現(xiàn)》,并已順利結(jié)題。

劉靈坤:計算機與通信工程學院2017級學生,基本掌握了C/C++,學習踏實,有一定動手能力和團隊責任感,曾參加2017年長沙理工大學ACM新生賽。

指導教師承擔科研課題情況

熊兵,男,1981年生,博士,副教授,碩士生導師,主要研究方向:未來網(wǎng)絡、網(wǎng)絡安全、物聯(lián)網(wǎng)。2009年12月博士畢業(yè)華中科技大學計算機科學與技術(shù)學院,獲計算機應用技術(shù)專業(yè)博士學位,2010年3月進入長沙理工大學計算機與通信工程學院任教,2010年5月認定為講師,2016年12月晉升為副教授。以第一作者身份Computer Networks、Journal of Network and Computer Applications國際高水平期刊上發(fā)表論文十余篇。目前主持的科研項目有:

[1] 國家自然科學基金青年項目 ,SDN數(shù)據(jù)平面中大規(guī)模流表的高性能查找方法研究(61502056),23萬,2016.1-2018.12,主持;

[2] 湖南省自然科學基金青年項目,軟件定義網(wǎng)絡架構(gòu)下虛擬流表高性能查找方法研究(2015JJ3010),4萬2015.1-2017.12,主持;

[3] 湖南省教育廳科學研究優(yōu)秀青年項目,SDN架構(gòu)下大規(guī)模OpenFlow流表查找方法研究(15B009),5萬2015.9-2018.9,主持;

[4] 湖南省教育廳科學研究一般項目,高速網(wǎng)絡環(huán)境下惡意行為檢測關(guān)鍵問題研究(11C0036),1萬,2011.9-2013.9,主持;

[5] 長沙理工大學人才引進基金,面向高速網(wǎng)絡的數(shù)字取證模型及關(guān)鍵技術(shù)研究,8萬2010.6-2012.6,主持;

[6] 中冶長天國際工程有限責任公司,燒結(jié)球團能效計算軟件系統(tǒng)開發(fā),11.8萬,2014.3-2014.9,主持;

[7] 長城信息金融設備有限公司,金融IC卡互聯(lián)網(wǎng)終端安全接口包研發(fā),4萬,2012.3-2012.9,主持。

桂彥,女,1985年生,博士,講師,中國計算機學會(CCF)會員,主要研究方向為:計算機圖形學、計算機視覺、可視媒體智能編輯與處理等。以第一作者身份在《The Visual Computer》、《Journal of Zhejiang University - Science C (Computers & Electronics)》等國際高水平期刊以及CGI2010、VRCAI2011、COMPSE2016等國際會議上發(fā)表論文10篇,其中SCI收錄論文4篇,EI收錄論文6篇。目前主持的科研項目有:

[1] 國家自然科學基金青年項目 , 利用外觀相似性和全局拓撲結(jié)構(gòu)的重復元素提取與合成技術(shù)研究(61402053),24,2015.1-2017.12,主持;

[2] 湖南省教育廳科研項目,基于DNN的灰度圖像彩色化在圖像編輯處理中的應用研究,1萬,16C0046,2016.9-2018.9,主持。

項目研究和實驗的目的、內(nèi)容和要解決的主要問題

一、研究目的

中國是全世界盲人最多的國家。根據(jù)世界衛(wèi)生組織數(shù)據(jù):2010年,中國盲人824.8萬,低視力人口6727.4萬,視力殘疾人口是兩者的總和7551.2萬,每年在中國約有45萬人失明。假定按照目前的趨勢保持不變,到2020年預期中國盲人將增加4倍。然而,由于相關(guān)政策缺失、盲道建設不合理、國內(nèi)導盲犬培訓水平有限且周期太長等等原因,視障人士面臨著很大的生活阻力,以致我們在日常生活中很難見到盲人的身影。

近年來,物聯(lián)網(wǎng)技術(shù)的不斷成熟和智能硬件的日益興起,為解決視障人士出行問題提供新的解決思路。我們可以對視障人士的常用生活輔助工具——盲杖進行改造,賦予智能使其更好地解決盲人出行過程中遇到的各種問題。為此本團隊以傳統(tǒng)的盲人手杖為載體,引入智能物聯(lián)技術(shù),設計并研制一款智能導航盲杖,以解決視障人士的出行問題,讓其更好地融入大眾生活。

二、研究內(nèi)容

針對視障人士無法識辯道路狀況這一根本問題,本團隊擬研制一款基于盲道識別的智能導航盲杖。首先在盲杖上嵌入攝像頭代替盲人眼睛,然后采集并分析圖像,檢測并識別路況(盲道),彌補盲人的視覺缺陷。在此基礎(chǔ)上,通過加載GPS模塊、超聲波模塊、GSM模塊、NRF模塊等傳感器,實時獲取地理位置,感知周圍環(huán)境,進而實現(xiàn)語音導航、障礙物提醒、緊急呼叫、無線尋杖功能。智能導航盲杖的系統(tǒng)邏輯結(jié)構(gòu)如圖1所示。

1.系統(tǒng)邏輯結(jié)構(gòu)圖

智能導航盲杖以盲道識別功能為核心,包括語音導航、障礙物提醒、緊急呼叫、無線尋杖、后臺管理五大功能。其中,盲道識別功能以盲杖所嵌入的攝像頭為基礎(chǔ),通過采集路面(含盲道)圖像信息,利用圖像識別算法在對圖像中的盲道進行檢測和識別,以便進一步為盲人提供精準的導航服務;語音導航功能在利用GPS模塊與WIFI相結(jié)合進行精確定位的基礎(chǔ)上,通過內(nèi)置地圖提供的接口計算導航路線,進而結(jié)合盲道識別功能為盲人實現(xiàn)精確導航;障礙物提醒功能通過超聲波模塊檢測障礙物,并實時測距,進而通過藍牙耳機及時播報提醒盲人,以保障盲人的行走安全;緊急呼叫功能通過GSM模塊支持與監(jiān)護人或常用聯(lián)系人的及時通信,同時也方便盲人在遇到突發(fā)狀況時,能在第一時間與監(jiān)護人取得聯(lián)系;無線尋杖功能采用NRF模塊,通過隨身攜帶的遙控器控制盲杖發(fā)出聲響,以確定盲杖位置,從而快速找到盲杖;后臺管理模塊負責接收并管理盲杖的實時狀態(tài)數(shù)據(jù),為監(jiān)護人提供盲人的實時位置、歷史軌跡等信息,此外還可提供常用地址管理。

三、要解決的主要問題

依據(jù)上述系統(tǒng)構(gòu)建方案,綜合本項目已經(jīng)實現(xiàn)了的技術(shù),需要重點解決如下關(guān)鍵問題:

1. 盲道識別算法的魯棒性問題:目前,盲道的建設與施工標準并不統(tǒng)一,如新式的明顯的色彩與紋理特征、老式的僅有條狀或點狀紋理特征等。另外,盲道上可能存在部分臟污、損壞、乃至障礙物遮擋的情況。因此,盲道識別算法應該具有魯棒性,能夠消除現(xiàn)實場景中各種異常情況的干擾,正確識別盲道

2. GPS定位漂移問題:電離層和對流層對GPS信號的延遲、衛(wèi)星時鐘誤差、星歷誤差及多徑效應等因素導致GPS獲取的坐標出現(xiàn)漂移現(xiàn)象??紤]通過自相關(guān)系數(shù)校正法判斷是否出現(xiàn)定位漂移,通過速度或加速度的歸一化自相關(guān)系數(shù)曲線的尖峰,根據(jù)相關(guān)程度判斷出現(xiàn)漂移的位置,刪除相關(guān)的奇異點數(shù)據(jù),并同時進行修正,進而降低定位漂移。另外,系統(tǒng)還考慮通過周圍wifi熱點輔助定位,進一步提高定位精確度。

3. 系統(tǒng)供電問題:由于系統(tǒng)搭載了多個傳感器,同時圖像處理算法需要CPU高速運轉(zhuǎn),所以提供電源的電路必須考慮到減少功耗、限流保護、防雷脈沖保護、兼容多種類型電源等方面的因素。

4. 后端管理系統(tǒng)的設計:后端需要同時與眾多的盲杖保持通信,實時收集盲杖狀態(tài)數(shù)據(jù),并及時響應盲杖發(fā)出的請求。隨著盲杖用戶的增加及出行次數(shù)的增多,數(shù)據(jù)并發(fā)量和歷史數(shù)據(jù)都會顯著增長,后臺管理系統(tǒng)需要精心設計,以保證系統(tǒng)正常穩(wěn)定運行。

5. 盲杖外觀設計:智能導航盲杖搭載了多個傳感器,需要考慮傳感器如何合理的嵌入杖體及嵌入位置,最終使得盲杖整體外形美觀實用

國內(nèi)外研究現(xiàn)狀和發(fā)展動態(tài)

一、 國外動態(tài)

    早在2010年5月,日本秋田縣立大學副教授剛按光博開發(fā)了一款電子導盲杖,在秋田縣舉行的日本全國盲人福利大會上公布。在國外盲杖發(fā)展的歷程當中,最具代表性的有帶有面部識別的“XploR盲杖”、能讓使用者繪制出心理地圖的“智能導盲儀”。

1.XploR盲杖

美國伯明翰城市大學3名學生借助智能手機技術(shù)發(fā)明的XploR盲杖,有望讓盲人解決錯過熟人的問題。這種智能盲杖里有一些特殊的部件。首先是個攝像機,只要有人走近,進入它的“視野”(比如10米距離),它就掃描來人的面孔;而盲杖內(nèi)置的面部識別軟件會提取來人面容的諸多識別特征,與配套的數(shù)據(jù)庫進行比對。其識別示意圖如圖2所示。

 

圖2 XploR盲杖識別示意圖

數(shù)據(jù)庫裝載在盲杖里一張SD卡中,內(nèi)有盲杖使用者的親戚朋友、老師醫(yī)生等一應熟人的照片資料。來人的臉一旦與照片庫有匹配,盲杖判定有熟人靠近,它就會振動報告。盲杖借助藍牙,與使用者的耳機連接,報告是誰來了。更特別的是,盲杖還會在GPS的輔助下,為使用者導航,一步一步向熟人靠近。

2.智能導盲杖

該導盲杖內(nèi)置GPS功能,盲人在外出的時候走過一些自己有特殊記憶的地方按下按鈕記錄,盲杖會記錄并拍下該點照片,使用者還可以語音輸入提醒自己的話。在下次經(jīng)過該點的時候盲杖會震動,并語音提醒,幫助盲人回憶和記憶,經(jīng)過記錄點的積累讓使用者形成心理的空間地圖,讓盲人能更自信的出行。智能導盲杖的概念圖如圖3所示。

 

圖3智能導盲杖概念圖

盲杖上的攝像頭可在盲人外出遇到困難的時候,通過盲杖把路況等信息傳給親友的手機上,讓他們幫助盲人更好的出行。在盲人外出時,親友想了解盲人的狀況可以通過GPS定位了解外,還可以連接到盲杖的攝像頭上,更直接的了解盲人出行狀況。盲杖上的攝像頭還可以全程拍下出行的視頻記錄,盲杖上還帶有無線耳機,在人多嘈雜的地方可以用耳機。

二、 國內(nèi)動態(tài)

    在2011年的清華大學的“Bright Eyes 智能盲道系統(tǒng)”曾引起過人們的關(guān)注,該作品集盲道的識別、路線規(guī)劃,藍牙功能于一體,為盲人的出行帶來了極大的幫助。而“我是你的眼”智能盲杖和杖,非障”智能盲杖是最近幾年最具代表性的智能盲杖。

1.“我是你的眼”智能盲杖

這款盲杖在最下面多了一個方盒子,安裝有萬向輪,實物圖如圖4所示可以毫不費力的推著盲杖前行,盲杖前方一根像鐘擺一樣不斷來回擺動的“觸角”,這根用碳纖材料制成的“觸角”是掃動傳感器,每當檢測到前方有障礙物時,“觸角”就會發(fā)出語音提示。該盲杖還配備了一個小型遙控器,只要按動按鈕,盲杖就會發(fā)聲:“您的拐杖在這里?!比绻饩€不足,盲杖還會自動亮燈,提示過往車輛和行人注意。

 

圖4基于盲道識別的智能導航盲杖實物圖

2.“ 杖,非障”智能盲杖

這款盲杖集超聲波避障、太陽能電池充電和GSM基站定位等特點于一體。工作時,它通過超聲波傳感器監(jiān)測盲人面前的障礙物和其距離,進而發(fā)出警報聲提醒盲人提前規(guī)避障礙物。它采用太陽能電池和電源適配器混合供電,在戶外使用時太陽能電池可以向鋰電池供電,閑置時可由電源適配器供電。它采用了GSM基站定位技術(shù)后,當盲人迷路走失時,家人可以通過向盲杖發(fā)送短信獲取盲人的位置,減少危險的發(fā)生。

本項目學生有關(guān)的研究積累和已取得的成績

一、有關(guān)研究積累

本項目以stm32f103c8t6作為主控芯片,目前已經(jīng)開發(fā)了一款智能盲杖原型如圖5所示,后臺管理界面如圖6所示,主要實現(xiàn)了以下幾個功能。

 

圖5 智能盲杖

     

(a) 常用地址管理                           (b)軌跡查詢

圖6 后臺管理界面

(1)障礙物探測功能:當視障人士行走路徑的前方0.6m處有障礙物時,手杖便立即以語音播報的方式提醒視障人士避開障礙物。

(2)實時定位功能:視障人士獨自外出時,其家人可通過監(jiān)護端查看其實時位置,如出現(xiàn)走失情況則可第一時間找到其具體位置,避免其出現(xiàn)意外。

(3)語音導航功能:視障人士單獨出行時,可通過手杖導航去往目的地,智能手杖通過語音播報提示視障人士行走方向,解決了視障人士使用智能手機導航困難的問題。

(4)緊急呼叫功能:視障人士在遇到緊急情況或需要幫助時,可通過此功能一鍵呼叫其家人電話,得到其家人的及時幫助。

5)后臺管理功能云服務端負責接收智能手杖的狀態(tài)數(shù)據(jù),并為其提供導航等服務。監(jiān)護端基于云服務端收集的數(shù)據(jù),為監(jiān)護人員提供視障人士的實時位置查看、歷史軌跡查詢、出行信息管理等功能。

二、已取得成績

1. 2017年第十屆中國大學生計算機設計大賽一等獎

2. 2017第七屆“華為杯”中國大學生智能設計競賽二等獎

3. 2017年第十三屆湖南省大學生計算機程序設計競賽應用開發(fā)類三等獎

項目的創(chuàng)新點和特色

1. 盲道識別功能:基于圖像識別的智能出行盲杖解決了盲人在外出行過程中,對所處環(huán)境一無所知,對路況感知太過薄弱的問題,它能通過攝像頭采集路況信息,分析處理后進行語音播報道路實時信息,達到精準立體導航,盲人出行安全得到更進一步保障

2. 語音導航功能:盲杖GPS模塊用于獲取衛(wèi)星定位坐標,raspberry pi 3b通過手機熱點連接到互聯(lián)網(wǎng)后將實時坐標與目的地坐標發(fā)送到后臺服務器,通過與后臺進行信息交互,對盲人出行路線精確導航,所得規(guī)劃路線信息將通過方便攜帶的藍牙耳機播報給盲人,同時在服務器端將會實時顯示盲人所處位置,監(jiān)護人可及時準確的獲取盲人位置信息,為盲人安全再加一層保障。

3. 障礙物檢測與提醒:在行進中遇到障礙物時,超聲波模塊及時感知,語音播報提醒盲人避讓,保障盲人安全。

4. 無線尋杖功能:盲人按下相應按鍵,主控單元與相應模塊近距離無線通信后,控制語音模塊語音提示盲人幫助其尋找離手的盲杖,解決手杖離手后視障人士尋取困難的問題。

5. 緊急呼叫功能:盲人按下相應按鍵,盲杖通過GSM模塊完成與視障人士與常用聯(lián)系人的通信,使其在遇到突發(fā)狀況時可以第一時間與外界取得聯(lián)系從而尋求幫助

項目的技術(shù)路線及預期成果

一、技術(shù)路線

本項目擬開發(fā)的智能導航盲杖以rasberrypi 3b為主控芯片,搭載攝像頭、GPS模塊、超聲波模塊、GSM模塊、NRF模塊,實現(xiàn)盲道識別、語音導航、障礙物提醒、緊急呼叫、無線尋杖等功能。智能導航盲杖的物理硬件部署如圖7所示。

7 盲杖硬件部署圖

 

(一) 盲道檢測識別

盲道檢測識別部分主要攝像頭模塊和圖像處理算法部分組成,由攝像頭模塊提供實時路面情況并交由圖像處理算法進行處理,如圖8所示。整個圖像處理算法是先由預處理模塊處理輸入圖像,再由圖像分割模塊進行分割,最后由邊界檢測模塊檢測盲道邊界。

 

8 盲道檢測識別處理流程

1) 預處理模塊

色彩空間轉(zhuǎn)換:由于目前生活中不同盲道的差異極大,因此它們的分析方法以及解決方案也是非常不一樣的。雖然系統(tǒng)采集到的圖像是彩色的,但是為了處理方便,通常會將之轉(zhuǎn)化成單通道的一維的灰度圖片進行處理。然而,這一轉(zhuǎn)化過程中卻將圖片中的大部分顏色信息都丟失了,甚至有一些人眼看起來很明顯的差異,在轉(zhuǎn)成灰度圖后卻兒乎分辨不出來了。

Lab色彩空間是顏色-對立空間,帶有維度L表示亮度,a和b表示顏色對立維度,基于非線性壓縮的CIE色彩空間坐標。不像RGB和CMYK色彩空間,Lab色彩空間被設計來接近人類視覺。因此,對于有顏色差異的盲道圖像,將把它轉(zhuǎn)化成Lab色彩空間,然后再做處理。

由于RGB色彩空間無法直接轉(zhuǎn)換成Lab色彩空間,需要先轉(zhuǎn)換成XYZ色彩空間再轉(zhuǎn)換成Lab色彩空間,略去中間過程,RGB色彩空間轉(zhuǎn)換成XYZ色彩空間的公式如下:

 

注:上述轉(zhuǎn)換過程中使用了Gamma函數(shù),用來對圖象進行非線性色調(diào)編輯,目的是提高圖像對比度,該函數(shù)不唯一。

XYZ色彩空間轉(zhuǎn)換成Lab色彩空間的公式如下:

 

其中, ,取值分別為95.047、100.0和108.883。

高斯平滑與灰度級圖像下擴展形態(tài)學操作:由于對所有的盲道圖像的分割目標都是盲道區(qū)域與人行道區(qū)域,因此,可以舍去小面積的分割結(jié)果,并且盡量地把小區(qū)域合并成大塊的區(qū)域。在預處理階段為了減少分割時產(chǎn)生的小區(qū)域干擾最終的聚合結(jié)果,可以對圖像進行如高斯平滑等方式的處理。

在一些情況下,高斯平滑可能達不到預期的效果,此時可以采用灰度級圖像下的擴展形態(tài)學操作。在二值圖像中,對Z中的集合A和B使用B對A進行腐蝕,用表示,并定義為:

 

也就是說,使用B對A進行腐蝕是所有B中包含A中的點Z的集合用Z平移。

將腐蝕操作擴展到灰度級圖像。假定f(x,y)是輸入圖像,而b(x,y)是一個子圖像函數(shù),并且它們都是離散函數(shù)。則定義灰度腐蝕為:

 

其中,分別是f和b的定義域。

整個預處理流程如圖9所示。

9 預處理流程

經(jīng)過上述處理后,在進一步的閾值分割或者紋理分割中都能取得更精確的結(jié)果。

2) 圖像分割模塊

對于不同的盲道而言,所采用的分割策略是不同的,如對于有明顯顏色特征的盲道而言,采用基于閾值的分割就能夠獲得很好的效果,但對于只具備紋理特征的盲道,則需要采用其他的分割方式。

a) 基于閾值的分割

對于和周圍取余有明顯色彩特征的盲道,可以采用基于閾值的分割方式來進行快速分割。閾值分割就是簡單地用一個或幾個閾值將圖像的灰度直方圖分成幾個類,認為圖像中灰度值在同一個灰度內(nèi)的像素屬于同一個區(qū)域。這是一種直觀且易于實現(xiàn)的方法,因此在圖像分割應用中處于中心地位。

由于在實際的盲道分割應用中往往涉及的場景較為復雜,因此通過預設閾值的方式來實現(xiàn)分割的方法在實際應用中效果無法達到預期要求,采用Ostu(最大類間方差法)進行閾值分割是一種較好的解決方案,具體如下:

輸入圖像中所有灰度值的統(tǒng)計信息可以用一維直方圖來表示,該直方圖用來表示。可以看成是對背景和對象物的混合概率密度函數(shù)的一個估計。對閾值,記:

 

 

 

 

 

 

 

 

定義類間差以及類內(nèi)差

 

 

在上述的基礎(chǔ)上,Ostu可以通過最大化下列式子來選取最佳閾值t:

 

經(jīng)閾值處理后的圖像f(x,y)定義為:

 

由于盲道圖像都是有著大塊的連續(xù)區(qū)域,因此大多數(shù)情況下閾值分割都可以得到不錯的效果。

b) 基于紋理差異的分割

有些盲道圖像由于各種各樣的原因,它們的不僅沒有顏色差異,甚至在轉(zhuǎn)成灰度圖或Lab色彩空間下,各個分量的強度都沒有顯著和區(qū)域性差異。對于這種情況,需要采用基于紋理差異的分割方法。

利用紋理分割的方法將這一類盲道圖像分割出來需要做到兩點,第一,描述盲道的紋理特征,第二,利用這些紋理特征進行選擇,將圖像分塊。

i. 紋理特征描述

盲道紋理特征的描述可以通過一種改進的排列組和熵獲得,該算法流程如下:

(1) 將整幅圖像分成4×4像素塊的集合;

(2) 以4×5像素塊為中心取大小為16×16的窗口;

(3) 分別設置4個方向上的松馳變量;

(4) 在16×16的窗口中,分別對4個方向上間距為1的像素對進行統(tǒng)計,計算3種排列情況出現(xiàn)的概率,最后獲取各個方向上的排列組合熵);

(5) 計算16×16窗口中像素塊的灰度均值E和灰度方差D;

(6) 用這個6維特征矢量作為表述圖像紋理特征的量。

ii. 聚類方法

在能夠描述盲道的紋理特征之后,即可以選用合適的聚類方法來確定分割結(jié)果,可以采用K-means聚類、模糊C-均值聚類(FCM)等方法,以K-means聚類方法為例,典型流程如下:

(1) 從圖片中隨機選取K個作為質(zhì)心;

(2) 對剩余的每個像素測量其到每個質(zhì)心的距離,并把它歸到最近的質(zhì)心的類;

(3) 重新計算已經(jīng)得到的各個類的質(zhì)心;

(4) 迭代2~3步直至新的質(zhì)心與原質(zhì)心相等或小于指定閾值,算法結(jié)束。

整個圖像分割流程如圖10所示。

 

10 圖像分割流程

3) 邊界檢測模塊

a) 邊緣檢測

一般的,圖像中的邊緣部分是兩個不同子區(qū)域的交接處,體現(xiàn)在圖像中的數(shù)字信息上,邊緣部分是圖像的強度變化最劇烈的部分。圖像的強度變化程度指的就是圖像中的點像素間的離散導數(shù)值。因此大部分邊緣檢測的算法都是基于對對應于圖像的函數(shù)f(x,y)的求導和閾值化結(jié)果。

由于圖像函數(shù)f(x,y)都是離散的,因此一幅數(shù)字圖像的一階導數(shù)是基于各種二維梯度的近似值的,圖像f(x,y)在位置(x,y)的梯度定義為下列向量:

 

梯度向量的大小表示為:

 

計算圖像的梯度可以用不同的梯度算子得到,應用在下圖 所示的圖像領(lǐng)域和Sobel算子可以得到z5的檢測結(jié)果為:

 

 

Z1

Z2

Z3

 

1

2

1

 

1

 

 

Z4

Z5

Z6

 

 

 

2

 

 

Z7

Z8

Z9

 

 

 

1

 

 

11 圖像鄰域和Sobel算子

將輸入的已分割圖像通過檢測算子進行變換,可以在接下來的直線查找中獲得更加精確的結(jié)果。

b) 直線查找

對于盲道的兩條邊界線的查找是圖像處理環(huán)節(jié)的最終目標。但是利用邊緣檢測得到的二值圖往往只是一零星的線段,如何找出其中的直線部分,忽略掉其它的非直線部分是這個時候的關(guān)鍵。對于二值圖像中的直線檢測,通常用Hough變換來尋找和鏈接圖像中的線段。

Hough變換是圖像處理中的一種特征提取技術(shù),它通過一種投票算法檢測具有特定形狀的物體。該過程在一個參數(shù)空間中通過計算累計結(jié)果的局部最大值得到一個符合該特定形狀的集合作為霍夫變換結(jié)果。經(jīng)典霍夫變換用來檢測圖像中的直線。

利用Hough變換檢測并連接直線大致分為一下幾步:

(1) 從圖像中得到邊緣檢測后的二值圖;

(2) 在對坐標細分;

(3) 對像素高度集中的地方檢驗其累加器單元的數(shù)目;

(4) 檢驗選擇的單元中像素之間的關(guān)系,這里主要針對連續(xù)性進行處理。

步驟(4)中的連續(xù)性概念通?;诓贿B續(xù)像素間距離的計算,這些不連續(xù)像素是在遍歷給定累加器單元對應的像素集合的過程中識別出來的。通常,如果一點和它最接近的相鄰點之間的距離超過某一閾值,就認為點之間的間隔是有意義的。

整個邊界檢測流程如圖12所示,通過上述幾個步驟即可實現(xiàn)盲道的檢測,并為具體應用場景提供必要的數(shù)據(jù)。

圖12 邊界檢測流程

(二) 障礙物提醒

1) 硬件模塊選擇

采用SY-SRF05超聲波測距模塊,可提供2cm-450cm的非接觸式距離感測功能,盲區(qū)(2cm)超近,測距精度可高達3mm。本模塊具有性能穩(wěn)定,測度距離精確的優(yōu)點。能和國外的SRF05,SRF02等超聲波測距模塊相媲美。而且本模塊價格低廉,使用壽命長,體積較小,方便后期封裝。

                 表1  SY-SRF05超聲波測距模塊參數(shù)介紹表

電氣參數(shù)

HY-SRF05 超聲波模塊

工作電壓

DV 5V

工作電流

15mA

工作頻率

40Hz

最遠射程

4.5m

最近射程

2cm

測量角度

15°

輸入觸發(fā)信號

10uS的TTL脈沖

輸出回響信號

輸出TTL電平信號,與射程成比例

規(guī)格尺寸

45*20*15mm

2)實現(xiàn)

使用此模塊時超聲波發(fā)射器會發(fā)出超聲波,從發(fā)出時計時器開始計時,在接觸到障礙物時返回,此時接收器接收到返回的超聲波信號,計時器停止計時,由聲音在空氣中傳播的速度就可出此時盲杖距離前方障礙物的距離。根據(jù)設定的報警標準,當距離障礙物較近時就會得到報警信號。報警流程如圖13所示。

 

13 障礙物預警流程

3)位置

本模塊應安裝在盲人手杖底部、中部、頂部三處,以檢測不同高度的障礙物。在封裝時應該把超聲波發(fā)射裝置與接收裝置露出,避免因為包裝或?qū)Ь€阻擋測量。

(三) 語音導航

1)硬件模塊選擇

選擇BDS/GNSS 全星座定位導航模塊模塊系列中的ATGM332D-5N,該模塊支持包括中國的 BDS(北斗衛(wèi)星導航系統(tǒng)),美國的 GPS,俄羅斯的 GLONASS,歐盟的 GALILEO,日本的 QZSS 以及衛(wèi)星增強系統(tǒng) SBAS(WAAS,EGNOS,GAGAN,MSAS)。AT6558 是一款真正意義的六合一多模衛(wèi)星導航定位芯片,包含 32 個跟蹤通道,可以同時接收六個衛(wèi)星導航系統(tǒng)的 GNSS 信號,并且實現(xiàn)聯(lián)合定位、導航與授時。ATGM332D-5N 系列模塊具有高靈敏度、低功耗、低成本等優(yōu)勢,適用于車載導航、手持定位、可穿戴設備。模塊的電氣參數(shù)如表2 所示。

表2 ATGM332D-5N超聲波模塊電氣參數(shù)

參數(shù)

符號

最小值/V

最大值/V

模塊供電電壓(VCC)

Vcc

-0.3

3.6

備份電池電壓(VBAT)

Vbat

-0.3

3.6

數(shù)字輸入引腳電壓

Vin

-0.3

Vcc+0.2

最大可承受ESD水平

VESD

 

2000

 

2)定位與導航的實現(xiàn)

單純的GPS定位需要搜索到至少三顆衛(wèi)星信號,在搜索不到衛(wèi)星信號時會自動切換到基站定位,所以導航功能需要到空曠地帶。在模塊的板載LED保持一定頻率閃爍說明定位成功,此時模塊會采用NMEA0183協(xié)議以串口方式發(fā)送定位信息,在主控芯片接收后進行解析得到經(jīng)緯度坐標。

在需要導航的時候,視障人士通過按鍵選擇盲杖中從服務端同步的常用目的地,按下導航鍵開始導航;主控芯片將GPS獲取的位置信息以及導航相關(guān)命令信息等通過連接的wifi熱點以HTTP的方式上傳到服務端。服務端收到目的地后,請求導航地圖API,得到導航信息,根據(jù)上傳的位置信息給出相應的回應,盲杖則將行走指令通過藍牙耳機播放,到達目的地后,盲杖會提示導航結(jié)束。語音導航流程如圖14所示。

 

14 語音導航流程

3)安裝位置

GPS模塊應盡量安裝在盲杖頂部位置,且天線那面需面向天空,以便接收衛(wèi)星信號。

(四) 緊急呼叫

1)硬件模塊選擇

GSM模塊具有發(fā)送SMS短信,語音通話,GPRS數(shù)據(jù)傳輸?shù)然贕SM網(wǎng)絡進行通信的所有基本功能。為了縮短開發(fā)周期,本團隊將對成品GSM模塊進行二次開發(fā)。通過RS232串口與GSM模塊相連,通過AT指令控制模塊實現(xiàn)各種基于GSM的通信功能。

2)實現(xiàn)

緊急呼叫功能的實現(xiàn)流程如圖15所示首先對該模塊進行初始化,當檢測到通話按鍵被按下時,模塊首先需要注冊GSM網(wǎng)絡,然后查詢本地數(shù)據(jù)庫中的聯(lián)系人,生成AT命令,最后通過RS232串口發(fā)送給GSM模塊,完成呼叫。

15 GSM呼叫流程

3)安裝位置

由于GSM技術(shù)具有在任何時間、任何地點都能實現(xiàn)連接,永遠在線、按流量計費等特點,所以GSM模塊可以嵌入盲杖的任意位置。

(五) 后臺服務器

后臺服務器主要實現(xiàn)與硬件交互提供導航服務、與WEB頁面交互提供盲杖的歷史與實時信息。后臺服務器的工作流程如圖16所示。

 

16 后臺服務器工作流程

1) 與硬件端的交互

后臺應用程序的編寫使用NODEJS作為開發(fā)語言,因為與硬件通信對實時性有要求,所以使用node中的NET模塊建立TCP服務器與硬件通信。在接受到智能盲人手杖的發(fā)送的正常數(shù)據(jù)請求后將進行相應的響應與數(shù)據(jù)庫存儲。

2) 與WEB頁面的交互

在登陸頁面驗證成功后,后端將給瀏覽器返回相應的盲杖的管理界面。

常用地址管理界面

首先展示數(shù)據(jù)庫中存在的地址 ,然后提供添加、刪除、修改常用地址的按鈕與輸入框,并提供在地圖中標注展示,方便用戶管理。

軌跡查詢界面

首先需要用戶選擇查看的日期時間,然后將加載數(shù)據(jù)庫中的歷史位置信息,過濾掉一些明顯錯誤的點后,將相鄰點之間用直線相連,有又在地圖上顯示的點距離很近,就形成了出行軌跡。

實時位置界面

該界面與后臺的通信使用socket.io工具,以滿足實時性的要求。除了加載地圖界面外,還將加載諸多操作控件,方便用戶進行縮放、標注、更換地圖種類等操作。

二、預期目標

(1)研發(fā)一款技術(shù)含量高、實用性強的智能導航盲杖;

(2)參加省級以上學科競賽獲獎3以上

(3)申請專利和軟件著作權(quán)1-2項;

(4)發(fā)表1-2篇學術(shù)論文;

(5)培養(yǎng)5-8名物聯(lián)網(wǎng)高級應用型人才;

6)撰寫并提交項目研究總結(jié)報告

年度目標和工作內(nèi)容(分年度寫)

2018年度2018.3-2018.12

1. 目標

(1)實現(xiàn)整體電路設計;

(2)實現(xiàn)超聲波避障功能;

(3)實現(xiàn)GPS獲取經(jīng)緯度坐標;

4)實現(xiàn)經(jīng)典場景下盲道圖像的識別。

2. 工作內(nèi)容

(1)確定芯片型號與模塊擺放位置,畫出電路原理圖,繪制PCB電路板并打?。?/span>

(2)編寫代碼驅(qū)動超聲波模塊,實現(xiàn)測距功能;

(3)編寫代碼驅(qū)動GPS模塊,獲取經(jīng)緯坐標;

(4)采集盲道圖像,完成經(jīng)典場景下盲道的識別;

(5)整合代碼,使用多進程機制使各功能模塊有序并發(fā)工作;

2019年度2019.1-2019.12

1.目標

(1)設計好盲杖的整體外觀;

(2)實現(xiàn)后臺服務器各項功能模塊,完成網(wǎng)頁界面編寫;

3)完善各模塊存在的問題,如GPS定位漂移以及供電模塊續(xù)航問題。

2.工作內(nèi)容

(1)搭建服務器,實現(xiàn)各項預測功能并試驗;

(2)設計完成官網(wǎng),力求簡潔方便;

(3)加上wifi輔助定位,提高定位精度;

(4)嘗試提供更過供電方案,延長系統(tǒng)續(xù)行能力;

(5)嘗試完成更多場景下的盲道識別;

(6)畫出盲杖外殼設計圖紙,找廠家3D打印外殼。

指導教師意見

該項目以傳統(tǒng)的盲人手杖為載體,通過設計盲道識別算法并集成到樹莓派芯片中,進而搭載超聲波模塊、GPS定位模塊、GSM通信模塊、NRF模塊等,借助云服務技術(shù),實現(xiàn)盲道識別、語音導航、障礙物提醒、緊急呼叫、無線尋杖、后臺管理等功能,在一定程度上解決了視障人士出行困難的問題。

本項目的選題創(chuàng)新性、實用性強,系統(tǒng)方案設計合理,關(guān)鍵問題把握準確,技術(shù)方法切實可行?;谏鲜銮闆r,同意該組同學申報創(chuàng)新性實驗項目“基于盲道識別的智能出行盲杖”。

 

簽字:                日期:

 

 

黄色在线网站wwwwww,亚洲一区免费观看,疯狂丑小鸭2,特黄毛片官网免费看