基于圖像融合技術(shù)的云端真實場景重現(xiàn)系統(tǒng)
2019年06月04日 21:58         所屬學(xué)院: []          點擊:


湖南省大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實驗計劃

項  目  申  報 

 

項目名稱:            

  • 如果您無法在線瀏覽此 PDF 文件,則可以

  • 下載免費小巧的 福昕(Foxit) PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載免費的 Adobe Reader PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載此 PDF 文件

學(xué)校名稱

長沙理工大學(xué)

學(xué)生姓名

學(xué)  號

專      業(yè)

性 別

入 學(xué) 年 份

蘭林濤

201550080535

計算機科學(xué)與技術(shù)

2015

鄭鎮(zhèn)潮

201550080134

計算機科學(xué)與技術(shù)

2015

柳鄧一漫

201550080430

計算機科學(xué)與技術(shù)

2015

黃如釗

201550080333

計算機科學(xué)與技術(shù)

2015

羅京

201550080111

計算機科學(xué)與技術(shù)

2015

指導(dǎo)教師

桂彥

職稱

講師

項目所屬

一級學(xué)科

計算機科學(xué)與技術(shù)

項目科類(理科/文科)

理科

 

學(xué)生曾經(jīng)參與科研的情況

本學(xué)生團隊的五名組員均來自長沙理工大學(xué)2015級計算機科學(xué)與技術(shù)卓越班,團隊成員之間聯(lián)系緊密,配合默契,組員學(xué)習(xí)成績優(yōu)良,喜歡鉆研,有較強的創(chuàng)新能力與動手能力,特別是對新鮮事物敏感,在學(xué)好自身專業(yè)的同時,均希望參加大學(xué)生研究性學(xué)習(xí)和創(chuàng)新實驗計劃項目夯實計算機科學(xué)專業(yè)基礎(chǔ),同時進一步提高實際動手能力和創(chuàng)新能力,為以后的學(xué)習(xí)深造和工作就業(yè)打下良好的基礎(chǔ)。其中,蘭林濤同學(xué)曾參加第九屆中國大學(xué)生程序設(shè)計大賽,并獲得了國賽三等獎、中南賽區(qū)二等獎、第十一屆長沙理工大學(xué)程序設(shè)計比賽三等獎的成績,并已在期刊《軟件》上發(fā)表論文一篇。本小組所有成員在2015-2016年申報并實施了計算機與通信工程學(xué)院卓越工程師創(chuàng)新課題,已順利結(jié)題。

我校計算機與通信工程學(xué)院已將智能感知與計算機視覺方向作為計算機科學(xué)與技術(shù)專業(yè)的重點培養(yǎng)方向之一,該專業(yè)是國家級特色專業(yè)、教育部卓越工程師教育培養(yǎng)計劃試點專業(yè)。小組成員均為計算機科學(xué)與技術(shù)專業(yè)卓越班學(xué)生,在軟硬件技術(shù)方面有良好的基礎(chǔ),我們已經(jīng)學(xué)習(xí)了C/C++語言、可視化編程、匯編語言,在程序的數(shù)據(jù)結(jié)構(gòu)、算法分析與設(shè)計上有了一定的基礎(chǔ),了解了計算機網(wǎng)絡(luò)原理與應(yīng)用技術(shù),初步具備了將Android平臺與Web云服務(wù)結(jié)合起來的條件。

小組成員在桂彥老師的帶領(lǐng)下已初步了解了圖像融合的原理以及過程,并研究了圖像融合的算法。并在暑假期間進行分組學(xué)習(xí)了Android平臺與Web后臺的開發(fā),為接下來的創(chuàng)新實驗打下了基礎(chǔ)。目前小組成員正積極學(xué)習(xí)和研究基于圖像融合技術(shù)的云端真實場景重現(xiàn)系統(tǒng),這對于我們來說仍是一項全新的挑戰(zhàn)。

 

指導(dǎo)教師承擔(dān)科研課題情況

桂彥,女,19851月出生,湖南永州人,博士,長沙理工大學(xué)計算機與通信工程學(xué)院講師、中國計算機學(xué)會(CCF)會員。目前主要研究方向為計算機圖形學(xué)、計算機視覺、可視媒體智能編輯與處理等,主要在紋理合成/視頻紋理合成、圖像/視頻分割與修補、流體動畫等方面取得了一些創(chuàng)新性的研究成果。已在《The Visual Computer》、《Journal of Zhejiang University - Science C (Computers & Electronics)》等國內(nèi)外權(quán)威際期刊以及CGI2010VRCAI2011、COMPSE2016等國際會議上發(fā)表論文10篇,其中SCI收錄論文4篇,EI收錄論文6篇。目前主持國家自然科學(xué)基金青年基金項目1項(名稱:利用外觀相似性和全局拓?fù)浣Y(jié)構(gòu)的重復(fù)元素提取與合成技術(shù)研究,項目編號:61402053);湖南省教育廳科研項目1項(名稱:基于DNN的灰度圖像彩色化在圖像編輯處理中的應(yīng)用研究項目編號:16C0046)。

項目研究和實驗的目的、內(nèi)容和要解決的主要問題

 

一、項目研究的背景及意義

數(shù)字圖像處理與應(yīng)用在國際計算機學(xué)術(shù)界和工業(yè)界一直都備受關(guān)注,只不過由于過去受到計算平臺處理性能的限制,很多理論的實現(xiàn)不能在實際應(yīng)用上取得使人滿意的效果。隨著移動互聯(lián)網(wǎng)的發(fā)展和智能手機的普及,設(shè)備的處理性能也獲得了進一步的提升,部分圖像處理技術(shù)也從理論走向了商用化。目前市場上已經(jīng)出現(xiàn)了許多基于安卓平臺的圖像處理軟件,如Skitch、Photowonder、美圖秀秀等,并且已經(jīng)獲得了市場的肯定。

相比于過去的照相機拍照電腦處理模式,手機的攝像鏡頭雖然在硬件上有一定的劣勢,但是手機攝影輕便、快捷、簡單等特點也是傳統(tǒng)處理方式無法比擬的。因而智能手機市場上的數(shù)字圖像處理取得了快速的發(fā)展。不過,目前市面上數(shù)字圖像處理軟件的功能主要集中在濾鏡、馬賽克、貼圖等,大多是對拍攝的圖片進行即時、簡單的處理,缺少高級的圖像處理功能。

目前,隨著互聯(lián)網(wǎng)的發(fā)展,特別是國家推進了我國信息基礎(chǔ)設(shè)施的建設(shè),用戶的互聯(lián)網(wǎng)接入速度已經(jīng)獲得了極大的提升,使云計算平臺的實現(xiàn)有了現(xiàn)實基礎(chǔ)。目前云平臺具有極大的想象空間,云存儲、云端計算、云服務(wù)等都有著廣泛的前景。包括微軟、谷歌、騰訊、百度在內(nèi)的知名企業(yè)都在大力推動的發(fā)展,微軟已將移動優(yōu)先,云優(yōu)先作為公司的發(fā)展戰(zhàn)略。云計算能使用戶只要身邊有互聯(lián)網(wǎng)接入,便可訪問所有功能,其基于云端的計算平臺具有快速彈性的特性,即服務(wù)器的資源可由多個用戶共享,極大提高了計算效率與資源的利用率。

 

二、實驗?zāi)康?/span>

目前,智能手機上圖像處理軟件高級功能的缺少,最重要的一個原因在于目前手機的處理性能仍然無法支撐高分辨率圖像處理的計算量,受限于手機處理器主頻與電池容量,無法獲得一個較好的用戶體驗。

為了解決智能手機處理圖像性能與功耗的短板,我們結(jié)合當(dāng)下蓬勃發(fā)展的云計算概念,提出了先由終端提供用戶交互,再由云端服務(wù)完成計算任務(wù)的處理流程,目的是通過結(jié)合已有的智能手機平臺在用戶交互的優(yōu)勢與云計算不耗費本地資源的特點,來實現(xiàn)具有較高處理性能要求的圖像處理算法,達到1+1>2的效果。通過該系統(tǒng)的設(shè)計實現(xiàn),我們可以深入探討圖像處理與云端服務(wù)兩者在實際生活中的應(yīng)用,以及如何更好地發(fā)揮互聯(lián)網(wǎng)的優(yōu)勢來將實驗內(nèi)容真正應(yīng)用到生活實踐中。

 

三、實驗內(nèi)容

基于指導(dǎo)老師在計算機圖形學(xué)、計算機視覺、可視媒體智能編輯與處理等方面的積累,針對移動終端數(shù)字圖像處理的實際需求,我們開發(fā)的基于圖像融合技術(shù)的云端真實場景重現(xiàn)系統(tǒng)可以在保證具有良好用戶體驗的同時,兼顧了計算速度與智能手機應(yīng)用對耗電量、發(fā)熱等方面的要求。

我們開發(fā)的基于圖像融合技術(shù)的云端真實場景重現(xiàn)系統(tǒng)主要分為AndroidWeb云服務(wù)器兩個部分:

1Android平臺主要分為圖像處理及交互模塊、用戶登陸與歷史管理模塊、輔助模塊三大功能。其中,圖像處理及交互要求系統(tǒng)整體擁有良好的用戶界面設(shè)計、動畫效果,并實現(xiàn)多點觸摸屏上的多指縮放、旋轉(zhuǎn)圖片等功能以提供良好的用戶體驗,并且能夠通過網(wǎng)絡(luò)進行融合渲染;用戶登陸與歷史管理模塊使得用戶可以通過賬號登陸來在不同的平臺上對處理文件的管理,并可以訪問歷史渲染圖像進行下載、查看、刪除等操作;輔助模塊主要用于用戶操作指引、照相取景輔助等功能,通過這些功能來增強軟件的使用價值。

2Web云服務(wù)器部以全分辨率圖像融合處理、用戶管理與歷史記錄保存為主,并提供與Android終端通信接口。其中,圖像融合處理模塊具有處理隊列、實時融合存儲等功能,并通過數(shù)據(jù)庫進行數(shù)據(jù)管理;用戶管理與歷史記錄模塊為終端的賬號登陸提供了接口,使得終端可以通過該接口實現(xiàn)對具體文件的操作。

相較于傳統(tǒng)圖像處理模式將所有計算全部放在本地處理導(dǎo)致的處理速度慢、功耗大、手機發(fā)熱高等的問題,我們采用的AndroidWeb云服務(wù)相結(jié)合的方式,通過將計算任務(wù)發(fā)送至云端處理的方式,在保留手機良好用戶交互體驗的同時,又避免了傳統(tǒng)方式的缺點, 具有良好的實用價值。

 

四、擬解決的主要問題

1圖像融合算法的實現(xiàn),并確保其在性能與資源使用上取得良好的平衡。

2實現(xiàn)Android平臺上的用戶交互功能,包括但不限于圖像內(nèi)容讀取、圖像區(qū)域框選、實時融合預(yù)覽、輔助取景等功能。

3完成Web云服務(wù)平臺,實現(xiàn)其與Android的通信功能,云平臺應(yīng)當(dāng)具有圖像融合、多用戶管理、歷史記錄等功能。

4搭建Web云服務(wù)的軟硬件平臺,并能夠通過互聯(lián)網(wǎng)與用戶終端通信。

5設(shè)計實現(xiàn)能夠響應(yīng)多用戶訪問處理的云平臺系統(tǒng)。

國內(nèi)外研究現(xiàn)狀和發(fā)展動態(tài)

一、圖像融合技術(shù)研究現(xiàn)狀與動態(tài)

數(shù)字圖像處理在工業(yè)領(lǐng)域與民用領(lǐng)域一直有著廣泛的應(yīng)用。圖像融合(Image Fusion)是指將多源信道所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過圖像處理和計算機技術(shù)等,最大限度的提取各自信道中的有利信息,最后綜合成高質(zhì)量的圖像,以提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分辨率,利于使用。

在工業(yè)領(lǐng)域,圖像融合有許多值得研究的方面,比如地球觀測衛(wèi)星能夠提供包括不同空間、時間、譜段的電磁光譜的不同部分的數(shù)據(jù)。為了充分利用日益增長的多源數(shù)據(jù),數(shù)據(jù)融合技術(shù)應(yīng)運而生了。 融合后的圖像在結(jié)合了不同傳感器特征之后,它能更好的反應(yīng)現(xiàn)實,提高容量,得到更可靠的結(jié)論。圖像擁有時間、空間、光譜等特征,因此,這樣可以更全面的觀測對象[1],如圖1所示,通過將衛(wèi)星不同傳感器獲取的圖像數(shù)據(jù)經(jīng)行融合后,可以獲得更加全面的觀測信息。

 

1 圖像融合在衛(wèi)星遙感方面的應(yīng)用

在民用領(lǐng)域,在醫(yī)學(xué)圖像分析、安全導(dǎo)航、交通檢測等方面都有著重大的應(yīng)用價值。如圖2所示,在醫(yī)學(xué)圖像分析上,通過將MRIPET掃描圖像進行融合,可以更好地輔助醫(yī)生對患者情況做出判斷。除此之外,在日常生活中,圖像融合還可用于無縫添加原圖像所缺失的內(nèi)容,或通過融合技術(shù)進行藝術(shù)的在創(chuàng)作,營造出普通攝影無法表達的意境。

2 圖像融合在醫(yī)療方面的應(yīng)用

Patrick Pérez2003年發(fā)表了論文《Poisson Image Editing》,其在圖像無縫融合方面的研究成為了后來圖像融合領(lǐng)域的一個經(jīng)典方法。如圖3所示,在采用該方法處理圖像之后的融合效果可以達到令人滿意的水準(zhǔn),為本系統(tǒng)的實現(xiàn)提供了理論支持。

3 采用論文方法實現(xiàn)的圖像融合效果

二、Android平臺發(fā)展現(xiàn)狀與應(yīng)用

Android是一個基于Linux內(nèi)核的開放源代碼移動操作系統(tǒng),由Google成立的Open Handset Alliance(開放手持設(shè)備聯(lián)盟)持續(xù)領(lǐng)導(dǎo)與開發(fā),主要設(shè)計用于觸屏移動設(shè)備如智能手機和平板電腦。Android從最早的1.0版本已經(jīng)發(fā)展到了現(xiàn)在的7.0Android Nougat),據(jù)統(tǒng)計,全球每天有超過100萬部Android設(shè)備被激活。2009Android只占據(jù)全球智能手機操作系統(tǒng)市場2.8%的份額,這個數(shù)字在2010年增長到了33%,而根據(jù)市場研究公司凱度(Kantar Worldpanel ComTech)的最新研究報告,Android手機在全球市場上的占有率已經(jīng)達到了驚人的76.4%[2],這意味著每十個人里面,就有7-8個人使用基于Android平臺的智能設(shè)備。安卓系統(tǒng)發(fā)展如此迅速和其開源、易移植的特點時分不開的,它可以被用在大部分的電子產(chǎn)品上,包括智能手機、各類電腦、電視等,其中比例最大的還是移動智能終端[3]

Android操作系統(tǒng)的核心屬于Linux內(nèi)核的一個分支,具有典型的Linux調(diào)度和功能[4],除此之外,Google為了能讓Linux在移動設(shè)備上良好的運行,對其進行了修改和擴充。如圖4所示,Android的系統(tǒng)架構(gòu)大致分為了四層,分別為Linux內(nèi)核層、庫和進行時、框架層和應(yīng)用層。Android的體系架構(gòu)是鼓勵系統(tǒng)組件重用,共享組件之間的數(shù)據(jù),并定義組件間的訪問權(quán)限控制??梢哉f,這些層次結(jié)構(gòu)相互獨立,又互相關(guān)聯(lián)[5]

 

4  Android 系統(tǒng)架構(gòu)圖

2014Google I/O 大會上,Android正式發(fā)布了其5.0版本,該版本最大的改進為將原有Android 使用的Dalvik虛擬機完全廢棄,徹底采用了全新的ART模式。Dalvik模式與ART模式最大的不同在于Dalvik采用的是實時編譯(JITJust in time),即在應(yīng)用程序運行時將程序的Java字節(jié)碼翻譯成機器碼(native code)執(zhí)行[5],導(dǎo)致每次應(yīng)用運行時都需要重新將字節(jié)碼翻譯,浪費了大量的時間與機器資源;而ART采用的是預(yù)編譯(AOTahead of time),即在應(yīng)用安裝時一次性將本地代碼編譯完畢,從而節(jié)省了運行時開銷,并降低了電量的消耗,顯著提升了運行效率。如圖5所示,在Nexus5Art模式相較于Dalvik有著較高的優(yōu)勢。

 

5  Nexus5ART模式與Dalvik模式效率對比

近年來,隨著智能終端行業(yè)的不斷發(fā)展,其機身搭載的攝像鏡頭素質(zhì)也得到了巨大的提升。目前市面上的手機搭載的鏡頭像素數(shù)量已經(jīng)普遍達到了一千三百萬,且成像質(zhì)量也已達到了令人滿意的水平,因而智能手機已經(jīng)從事實上取代了專業(yè)攝影設(shè)備成為了人們?nèi)粘E恼盏氖走x。正是因為如此,智能手機領(lǐng)域的圖像處理軟件得到了極大的發(fā)展,人們對照片后期處理的需求也在不斷攀升。根據(jù)騰訊應(yīng)用寶提供的數(shù)據(jù),Android手機上美圖秀秀軟件的下載量已經(jīng)達到了3.3億人次[6],可見圖像處理軟件在市場上擁有廣泛的需求。如圖6所示,目前手機上圖像處理軟件功能還是以濾鏡、拼圖等功能為主,仍然具有極大的發(fā)展空間。

 

6 指劃修圖軟件界面

三、Web云計算服務(wù)的應(yīng)用與發(fā)展

云計算是一種基于互聯(lián)網(wǎng)的計算方式,如圖7所示,通過這種方式,共享的軟硬件資源和信息可以按需求提供給計算機各種終端和其他設(shè)備。繼1980年代大型計算機到客戶端-服務(wù)器的大轉(zhuǎn)變之后,云計算成為了下一個巨變。用戶不再需要了解中基礎(chǔ)設(shè)施的細(xì)節(jié),不必具有相應(yīng)的專業(yè)知識,也無需直接進行控制[7]。云計算描述了一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式,通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展而且經(jīng)常是虛擬化的資源[8]。這種方式極大提高了資源的利用率,并降低了使用成本。

7 通用云計算共享軟硬件資源

近年來,隨著世界互聯(lián)網(wǎng)建設(shè)的不斷發(fā)展,云計算已經(jīng)從實驗室的構(gòu)想正式走向了現(xiàn)實應(yīng)用。在國家層面,各個國家都十分重視其發(fā)展研究,特別是我國在積極推進了信息基礎(chǔ)設(shè)施的建設(shè),提出了互聯(lián)網(wǎng)+的創(chuàng)新理念,李克強總理在首屆互聯(lián)網(wǎng)大會上指出了互聯(lián)網(wǎng)是大眾創(chuàng)業(yè)、萬眾創(chuàng)新的新工具,是中國經(jīng)濟提質(zhì)增效升級的新引擎,可見其重要作用[9]。云計算作為互聯(lián)網(wǎng)+中必不可少的一環(huán),可見其重要性與廣闊的發(fā)展前景。

此外,不少國際知名公司都將云計算作為公司發(fā)展的戰(zhàn)略目標(biāo)。微軟在2014年便提出了以移動為先,以云為先的轉(zhuǎn)型之路[10],在其最新操作系統(tǒng)Windows 10上深度整合了云計算服務(wù),在商用領(lǐng)域,微軟公司的Azure計算也是業(yè)內(nèi)標(biāo)桿,體現(xiàn)了云計算巨大的潛能。云計算的普及應(yīng)用使得廣大用戶得到了切實的體驗提升,目前國內(nèi)智能手機上均搭載了各個廠商提供的云服務(wù),通過云端同步、備份等功能真正使得這個概念深入人心,成為了人們?nèi)粘I钪斜夭豢扇钡囊画h(huán)。

8 云計算部署模型

美國國家標(biāo)準(zhǔn)和技術(shù)研究院的云計算定義中涉及了關(guān)于云計算的部署模型[11]。如圖8所示,按照部署模型分類,其可以分為公有云、私有云、社區(qū)云和混合云這四種類型:

公用云(Public Cloud

公用云服務(wù)可通過網(wǎng)絡(luò)及第三方服務(wù)供應(yīng)者,開放給客戶使用,公用一詞并不一定代表免費,但也可能代表免費或相當(dāng)廉價,公用云并不表示用戶數(shù)據(jù)可供任何人查看,公用云供應(yīng)者通常會對用戶實施使用訪問控制機制,公用云作為解決方案,既有彈性,又具備成本效益。

私有云(Private Cloud

私有云具備許多公用云環(huán)境的優(yōu)點,例如彈性、適合提供服務(wù),兩者差別在于私有云服務(wù)中,數(shù)據(jù)與程序皆在組織內(nèi)管理,且與公用云服務(wù)不同,不會受到網(wǎng)絡(luò)帶寬、安全疑慮、法規(guī)限制影響;此外,私有云服務(wù)讓供應(yīng)者及用戶更能掌控云基礎(chǔ)架構(gòu)、改善安全與彈性,因為用戶與網(wǎng)絡(luò)都受到特殊限制。

社區(qū)云(Community Cloud

社區(qū)云由眾多利益相仿的組織掌控及使用,例如特定安全要求、共同宗旨等。社區(qū)成員共同使用云數(shù)據(jù)及應(yīng)用程序。

混合云(Hybrid Cloud

混合云結(jié)合公用云及私有云,這個模式中,用戶通常將非企業(yè)關(guān)鍵信息外包,并在公用云上處理,但同時掌控企業(yè)關(guān)鍵服務(wù)及數(shù)據(jù)。

作為一個新興的發(fā)展領(lǐng)域,云計算服務(wù)在未來仍然具有極大的想象空間,其彈性計算的特性也意味著它能使用與傳統(tǒng)計算方式相比更少的資源去實現(xiàn)更多的功能。

回顧圖像處理、Android平臺與云服務(wù)的發(fā)展,其之所以得到了巨大的發(fā)展,很重要的一點是,在其發(fā)展歷程中都不斷切合了用戶需求,三者都提供了一個全新的功能平臺,方便人們隨時隨地享受科技進步帶來的便利。我們希望通過基于圖像融合技術(shù)的云端真實場景重現(xiàn)系統(tǒng)的設(shè)計,讓更多使用者受益的同時,也能提高自己的開發(fā)水平,完善自己的知識結(jié)構(gòu)。

參考文獻:

[1]扈少華, 郭寧. 圖像融合方法及應(yīng)用[J]. 科技信息, 2010(28):115-115.

[2]安卓市場份額已接近8.http://www.ithome.com/html/iphone/216610.htm

[3]儲韜溢. 交互式圖像分割的圖割算法及安卓應(yīng)用[D]. 南京郵電大學(xué), 2014.

[4]Androidology – Part 1 of 3 – Architecture Overview(Video). YouTube. 2008-09-06.

[5]http://huangzihao.me/android_heroes/1、Android體系與系統(tǒng)架構(gòu)/

[6]美圖秀秀.http://sj.qq.com/myapp/search.htm?kw=美圖

[7]Danielson, Krissi. Distinguishing Cloud Computing from Utility Computing. Ebizq.net. 2008-03-26.

[8]Gartner Says Cloud Computing Will Be As Influential As E-business. Gartner.com. [2010-08-22].

[9] 新華網(wǎng)評:中國有了互聯(lián)網(wǎng)+”計劃.http://www.netofthings.cn/GuoNei/2015-03/5505.html

[10] 微軟Cloud OS愿景:讓數(shù)據(jù)為每個人服務(wù).http://storage.it168.com/a2014/0410/1611/000001611995.shtml

[11]NIST. 美國國家標(biāo)準(zhǔn)與技術(shù)研究院對云計算的定義. 美國國家標(biāo)準(zhǔn)和技術(shù)研究院. 20119.

本項目學(xué)生有關(guān)的研究積累和已取得的成績

一、有關(guān)研究的積累

1總結(jié)了卓越創(chuàng)新課題中的收獲與不足、復(fù)習(xí)了C++MFC等知識,還分組學(xué)習(xí)了Android軟件開發(fā)、Web后臺開發(fā)等方面的知識。

2已初步了解了Android平臺與Web服務(wù)平臺通過網(wǎng)絡(luò)協(xié)作的基本要點,購置了樹莓派、USB接口鍵盤鼠標(biāo)、SD卡等設(shè)備作為搭建云端服務(wù)的開發(fā)測試平臺,了解了樹莓派的性能和使用,并進行了基本的調(diào)試與實驗。

3熟悉了樹莓派的主要組建與構(gòu)造,了解了樹莓派啟動方式及支持的系統(tǒng),并下載了相應(yīng)的鏡像進行系統(tǒng)安裝測試。

4深入學(xué)習(xí)了AndroidWeb后臺開發(fā)內(nèi)容,并就實驗內(nèi)容進行了多次討論,在討論中逐步完善了系統(tǒng)的功能劃分、云端協(xié)作等,為實驗開展奠定了基礎(chǔ)。

二、已取得的成績

[1] 計算機卓越班2015級卓越工程師創(chuàng)新課題:基于目標(biāo)對象移除技術(shù)的圖像修復(fù)系統(tǒng)設(shè)計與實現(xiàn), 2015。

[2] 蘭林濤,桂彥,鄭鎮(zhèn)潮,柳鄧一漫,羅京,王朦.基于Qt開源框架的跨平臺圖像修復(fù)系統(tǒng)設(shè)計與實現(xiàn),軟件,2016,37(8),pp.47-50.

[3]《夢之站官網(wǎng)2.0》,第九屆中國大學(xué)生程序設(shè)計大賽全國三等獎,2016。

[4]《夢之站官網(wǎng)2.0》,第九屆中國大學(xué)生程序設(shè)計大賽中南賽區(qū)二等獎,2016。

[5]第十一屆長沙理工大學(xué)程序設(shè)計比賽三等獎,2016

項目的創(chuàng)新點和特色

一、項目的創(chuàng)新點

1)本項目創(chuàng)新性采用了云端服務(wù)進行圖像處理,使應(yīng)用場景擺脫了設(shè)備處理性能的限制,使本系統(tǒng)的靈活性、便攜性、可靠性得到了有效保障。

2)系統(tǒng)通過手機端進行圖像融合的交互與預(yù)覽,符合用戶使用習(xí)慣,降低了操作門檻,同時通過云端進行高性能的融合計算,在保證快速得到高質(zhì)量效果的同時降低了用戶終端的電量消耗。

3)項目研究成果在日常生活中有廣泛的應(yīng)用,并且提供具有兼容性的后臺接口,可在日后快速擴展到其他平臺,實現(xiàn)全平臺覆蓋。

二、項目特色

1)系統(tǒng)具有基于圖像融合的真實場景重現(xiàn)功能、輔助信息采集、云端實時處理、多用戶登陸管理與云端存儲等功能。

2)云端系統(tǒng)采用高度兼容的開發(fā)方式,不僅能夠在高性能服務(wù)器上為大規(guī)模用戶提供服務(wù),而且兼容廉價硬件平臺,為個人搭建私有平臺提供了解決方案。

3)項目工作將獲得一套實用系統(tǒng)(Android用戶端與Web服務(wù)端),可以作為互聯(lián)網(wǎng)時代下交互協(xié)作的一個案例。

項目的技術(shù)路線及預(yù)期成果

一、項目技術(shù)路線

1. 系統(tǒng)目標(biāo)功能設(shè)計與工作框架

1.1 系統(tǒng)總體功能

本系統(tǒng)總體功能設(shè)計如圖1所示。

1 系統(tǒng)總體功能設(shè)計

源圖像區(qū)域選取模塊:用戶打開源圖像后,可直接通過手指進行目標(biāo)區(qū)域點選的點選操作,支持主流圖像格式;

目標(biāo)區(qū)域融合定位模塊:提取用戶在上一步點選的區(qū)域,以懸浮的形式置于目標(biāo)圖像內(nèi),用戶可自由拖動其位置、改變大?。?/span>

本地實時預(yù)覽模塊:待全部調(diào)整完畢后,Android本地在降低圖像分辨率后進行融合,并顯示融合效果;

云端處理接口與結(jié)果獲取模塊:將圖像及融合信息發(fā)送至云端服務(wù)器進行處理,待服務(wù)器處理完畢后再進行讀取;

最終結(jié)果導(dǎo)出模塊:用戶可選擇導(dǎo)出最終結(jié)果到本地存儲器,也可以直接分享至微博、微信等社交平臺;

用戶注冊登陸模塊與歷史圖像查看模塊:系統(tǒng)提供了用戶注冊與管理功能,用戶第一次注冊之后,即可在頁面對歷史的融合圖像進行查看或刪除操作;

圖像融合隊列:當(dāng)云端服務(wù)器待融合圖像過多時,將待融合圖像按世間順序入隊,依次進行融合操作。

本系統(tǒng)目前還在設(shè)計階段,后期會添加如用戶攝影融合輔助等功能,豐富系統(tǒng)功能。

1.2 系統(tǒng)工作流程設(shè)計

本系統(tǒng)采用本地平臺與云端服務(wù)相結(jié)合的模式,通過本地操作提升用戶交互的友好度、便利程度,使用云端服務(wù)進行對應(yīng)目標(biāo)的即時融合,避免了本地融合導(dǎo)致的速度過慢、發(fā)熱、耗電量大等問題。系統(tǒng)主要工作流程如圖2所示。

2 系統(tǒng)主要工作流程設(shè)計圖

1.3 系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

當(dāng)用戶需要在云端上進行下一步的融合工作時,由Android平臺程序通過互聯(lián)網(wǎng)絡(luò)向服務(wù)器發(fā)送請求,并將相應(yīng)的信息內(nèi)容發(fā)送至服務(wù)器,必要信息內(nèi)容如表1所示。云端服務(wù)在接收到數(shù)據(jù)之后,將待處理圖像加入至處理隊列中,并將處理狀態(tài)碼發(fā)回客戶端。

1 用戶端發(fā)送的信息內(nèi)容設(shè)計

序號

內(nèi)容

1

源區(qū)域圖像信息

2

源區(qū)域選定區(qū)間信息

3

目標(biāo)區(qū)域圖像

4

選取內(nèi)容相對位置、縮放信息

5

用戶唯一識別碼

如圖3所示,用戶在智能終端上完成交互操作之后,通過Internet將上述表中信息發(fā)送到Web云端服務(wù)器,服務(wù)器通過內(nèi)容的跳轉(zhuǎn)分發(fā)模塊識別用戶的功能請求,并將請求進一步分發(fā)到圖像處理模塊執(zhí)行圖像融合或是歷史內(nèi)容查詢等功能。在圖像處理模塊完成功能之后,再交由數(shù)據(jù)庫經(jīng)行所有數(shù)據(jù)的管理,并通過Internet返回用戶所需的內(nèi)容,完成全部的功能操作。

 

3 系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計圖

2. Android平臺

Android是一個基于Linux內(nèi)核的開放源代碼移動操作系統(tǒng),由Google成立的Open Handset AllianceOHA,開放手持設(shè)備聯(lián)盟)持續(xù)領(lǐng)導(dǎo)與開發(fā),主要設(shè)計用于觸屏移動設(shè)備如智能手機和平板電腦。

根據(jù)市場研究公司Strategy Analytics公布的最新數(shù)據(jù)顯示, 2016年第三季度(6月下旬-9月下旬)Android手機的全球市場份額達到了創(chuàng)紀(jì)錄的87.5%,在中國也有近80%的占有率,這意味著每10中就有7-8人使用基于Android平臺的智能設(shè)備。本系統(tǒng)用戶端采用安卓平臺作為目標(biāo),目標(biāo)人群廣泛,具有極強的實用性。

在中國互聯(lián)網(wǎng)浪潮與各大設(shè)備廠商的推動下,目前市場上占有量最大的千元機也具有了極佳的運算性能與圖像采集性能,為本系統(tǒng)的廣泛應(yīng)用提供了可能,以千元機魅藍3S為例,其具體參數(shù)如下:

SOCMTK MT6750芯片(含CPU,GPU SDRAM等)

CPUARM? Cortex?-A53? 1.5GHz x4 + ARM? Cortex?-A53? 1.0GHz x4

GPUARM Mali T860,支持vULKAN1.0,OpenGL ES 3.2,OpenVG 1.1,OpenCL Full Profile 1.2,Direct3D 11.2,feature level 11_1

內(nèi)存:2GB/3GB LPDDR3

攝像頭:1300 萬像素,?/2.2 (后置),500 萬像素、?/2.0 (前置)

網(wǎng)絡(luò)支持:802.11 a/b/g/n 無線網(wǎng)絡(luò)(支持 5GHz  2.4GHz 頻段)、Bluetooth 4.0、GSM 850/900/1800/1900MHz、TD-SCDMA 1900/2100MHz、WCDMA 900/2100MHzCDMA 2000/1x ev-do、TD-LTE B38/B39/B40/B41、FDD-LTE B1/B3/B7

音源輸出:3.5mm插孔

板載存儲:板載16GB/32GB ROM,支持Micro SD卡擴展

總體尺寸:141.9 x 69.9 x 8.3mm

3. Web云平臺

3.1 云平臺的硬件環(huán)境

1高性能服務(wù)器要求

高性能服務(wù)器以可承載多用戶訪問、具有高速運算性能與網(wǎng)絡(luò)訪問性能為目標(biāo),以ThinkServer RD450機架式服務(wù)器為例,其具體參數(shù)如下:

CPUIntel Xeon E5-2609 v31.9Ghz,22nm制程,QPI 6GT/s,六核心六線程

內(nèi)存:1×4GB DDR4 2133,最大可至512GB

硬盤:SAS,1×1TB熱插拔SATA3.5寸硬盤(7200轉(zhuǎn)),最大可拓展到32TB存儲空間,支持RAID 0/1/10

網(wǎng)絡(luò)接口:1×1Gb獨立網(wǎng)絡(luò)管理端口,可由PCI-e接口拓展

網(wǎng)絡(luò)帶寬:視用戶數(shù)量確定,建議100Mbps或更高上下行對等帶寬

2私有云平臺要求

私有云平臺以服務(wù)較少數(shù)量用戶為目標(biāo),需要兼顧功耗、成本等方面取得平衡,測試系統(tǒng)采用的樹莓派硬件平臺可以較好地兼顧上述要求,為探究低成本解決方案提供了參考思路。

樹莓派是一款基于Linux系統(tǒng)的只有一張信用卡大小的單板機計算機,目前最新版本已到了3B型,使用Micro SD卡作為存儲媒體,其具體參數(shù)如下:

SoCBroadcom BCM2837芯片(含CPUGPU,DSPSDRAM

CPUARM Cortex-A53 1.2GHz 64-bit quad-core ARMv8 CPU

GPUBroadcom VideoCrore IVOpenGL ES 2.0,1080p 30 h.264/MPEG-4 AVC高清解碼器

內(nèi)存:1GB (LPDDR2)

USB 2.0接口個數(shù):4(支持USB hub擴展)

視頻輸出:RCA視頻接口輸出(僅1B型有此接口),支持PALNTSC制式,支持HDMI (1.31.4),分辨率為640 x 350 1920 x 1200 支持PAL NTSC制式

板載存儲:Micro SD卡插槽

網(wǎng)絡(luò)接口:10/100以太網(wǎng)接口、802.11n Wireless LAN

Bluetooth 4.1、Bluetooth Low Energy (BLE)

外設(shè):17GPIOHAT規(guī)格鋪設(shè)

電源與額定功率:5V / 通過MicroUSBGPIO頭、800mAH(4.0W)

總體尺寸:85 x 56 x 17mm

3.2 云平臺的操作系統(tǒng)

采用開源的Linux系統(tǒng)。Linux是一套免費使用和自由傳播的類Unix操作系統(tǒng),是一個基于POSIXUNIX的多用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。它能運行主要的UNIX工具軟件、應(yīng)用程序和網(wǎng)絡(luò)協(xié)議。它支持32位和64位硬件。Linux繼承了Unix以網(wǎng)絡(luò)為核心的設(shè)計思想,是一個性能穩(wěn)定的多用戶網(wǎng)絡(luò)操作系統(tǒng)。

3.3 云平臺采用框架

系統(tǒng)采用目前社會上軟件開發(fā)領(lǐng)域流行的MVC開發(fā)模式,該開發(fā)模式是基于Spring+SpringMVC+Hibernate 三大框架的整合??蚣艿南到y(tǒng)從職責(zé)上分為四層:表示層、業(yè)務(wù)邏輯層、數(shù)據(jù)持久層和域模塊層,以幫助開發(fā)人員在短期內(nèi)搭建結(jié)構(gòu)清晰、可復(fù)用性好、維護方便的Web應(yīng)用程序。本系統(tǒng)使用SpringMVC作為系統(tǒng)的整體基礎(chǔ)架構(gòu),負(fù)責(zé)MVC的分離,控制業(yè)務(wù)跳轉(zhuǎn),利用Hibernate框架對持久層提供支持,Spring做管理,管理SpringMVCHibernate。

4. 系統(tǒng)開發(fā)語言與功能庫

本系統(tǒng)Android平臺與Web云平臺均采用Java作為開發(fā)語言,使用OpenCV庫來支撐圖像融合算法。

Java是由Sun Microsystems公司推出的Java面向?qū)ο蟪绦蛟O(shè)計語言(以下簡稱Java語言)和Java平臺的總稱。由James Gosling和同事們共同研發(fā),并在1995年正式推出。Java最初被稱為Oak,是1991年為消費類電子產(chǎn)品的嵌入式芯片而設(shè)計的。1995年更名為Java,并重新設(shè)計用于開發(fā)Internet應(yīng)用程序。用Java實現(xiàn)的HotJava瀏覽器(支持Java applet)顯示了Java的魅力:跨平臺、動態(tài)Web、Internet計算。從此,Java被廣泛接受并推動了Web的迅速發(fā)展,常用的瀏覽器均支持Javaapplet。另一方面,Java技術(shù)也不斷更新。Java自面世后就非常流行,發(fā)展迅速,對C++語言形成有力沖擊。在全球云計算和移動互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下,Java更具備了顯著優(yōu)勢和廣闊前景。2010Oracle公司收購Sun Microsystems。

OpenCV是一個跨平臺的計算機視覺庫。OpenCV是由英特爾公司發(fā)起并參與開發(fā),以BSD許可證授權(quán)發(fā)行,可以在商業(yè)和研究領(lǐng)域中免費使用。OpenCV可用于開發(fā)實時的圖像處理、計算機視覺以及模式識別程序。該程序庫也可以使用英特爾公司的IPP進行加速處理。采用C++語言編寫,該庫擁有有大量的Python, Java MATLAB/OCTAVE (版本2.5)的接口。這些語言的API接口函數(shù)可以通過在線文檔獲得。

5. 我們開發(fā)的用戶與云端協(xié)同設(shè)計的應(yīng)用系統(tǒng)

基于圖像融合技術(shù)的云端真實場景重現(xiàn)系統(tǒng)分為Android用戶端和Web云端兩個部分

Android用戶端:Android用戶端承擔(dān)了用戶交互與源文件獲取的操作,通過多點觸控交互界面的設(shè)計、賬戶登陸設(shè)計等,可以使用戶具有良好的操作體驗。后期進行輔助功能如攝影融合輔助等的設(shè)計,可以探討本系統(tǒng)在進行藝術(shù)創(chuàng)作方面的應(yīng)用前景。

Web云端:Web云端承擔(dān)了圖像融合與最終結(jié)果管理等的操作,通過與云服務(wù)相結(jié)合,可以有效降低融合算法對本地的電量消耗、避免如發(fā)熱等帶來的不良體驗。Web云端的功能是可擴展的,項目完成后,可以探討云端在其他平臺或網(wǎng)頁方面的應(yīng)用。

二、預(yù)期成果

1搭建基于圖像融合技術(shù)的云端真實場景重現(xiàn)服務(wù)系統(tǒng)。

2)以基于圖像融合技術(shù)的云平臺為基礎(chǔ),開發(fā)具有良好交互與用戶體驗的Android端軟件平臺。

3發(fā)表論文1,及申請軟件著作權(quán)1項。

年度目標(biāo)和工作內(nèi)容(分年度寫)

2017年:

主要完成與項目相關(guān)的知識儲備,確定用戶終端與云端平臺的交互方式、規(guī)劃系統(tǒng)功能并設(shè)計交互界面及其功能,完成測試平臺的全部搭建工作。具體安排如下:

120171-20172

小組成員進行測試平臺軟硬件環(huán)境的搭建工作,深入了解平臺特性。

220173-20174

小組成員學(xué)習(xí)Adoriod平臺與Web云平臺的開發(fā),熟悉Linux環(huán)境下服務(wù)器的部署與運行調(diào)試。

320175-20176

小組成員進行Android平臺與Web云平臺的工作流程與對應(yīng)接口設(shè)計,并在完成真實環(huán)境下的測試工作。

420177-20178

完成用戶交互界面的UI/UE設(shè)計,確定界面設(shè)計語言風(fēng)格,優(yōu)化用戶交互體驗。

520179-201712

規(guī)劃設(shè)計系統(tǒng)輔助功能模塊,并根據(jù)用戶需求調(diào)查進行動態(tài)調(diào)整。

小組成員進行系統(tǒng)設(shè)計與搭建,Android平臺使用Android Studio作為開發(fā)工具,Web云平臺暫選Spring + Spring MVC + Hibernate 作為開發(fā)框架。Android Studio 是一個由Google官方發(fā)布維護的Android集成開發(fā)工具。對Android平臺具有極佳的兼容性,并且能夠緊跟最新Android版本的特性。Web云平臺采用目前流行的MVC開發(fā)模式,使用Spring MVC作為系統(tǒng)的整體基礎(chǔ)架構(gòu),負(fù)責(zé)MVC的分離,控制業(yè)務(wù)跳轉(zhuǎn),利用Hibernate框架對持久層提供支持,Spring進行管理。

2018年:

主要完成圖像融合算法實現(xiàn)、Android平臺與Web云平臺系統(tǒng)的功能實現(xiàn)、整個系統(tǒng)的調(diào)試及后續(xù)工作。具體安排如下:

120181-20182

實現(xiàn)Android平臺的用戶交互功能,并完成與Web平臺的數(shù)據(jù)對接工作。

220183-20186

完成圖像融合算法在Android平臺與Web云平臺的實現(xiàn),并進行功能調(diào)試。

320187-201810

進行系統(tǒng)輔助模塊的功能實現(xiàn),優(yōu)化用戶界面及體驗,進行整體系統(tǒng)的內(nèi)外網(wǎng)環(huán)境下的測試工作。

4201811-201812

對系統(tǒng)成果進行封裝、調(diào)試,檢測系統(tǒng)穩(wěn)定性,完善系統(tǒng)性能。撰寫用戶使用手冊,提交項目結(jié)題材料。總結(jié)項目執(zhí)行經(jīng)驗,以方便后續(xù)研究。

圖像融合算法主要基于JAVA語言與OpenCV庫進行實現(xiàn)。整體系統(tǒng)功能實現(xiàn)后,將在內(nèi)網(wǎng)環(huán)境下進行部署測試,并進行調(diào)試工作。內(nèi)網(wǎng)調(diào)試完成后,將會將系統(tǒng)部署在外網(wǎng)服務(wù)器上進行測試。 

 

 

 

指導(dǎo)教師意見

 

圖像處理與云服務(wù)是近年信息產(chǎn)業(yè)尤其是互聯(lián)網(wǎng)領(lǐng)域的熱門話題,許多IT企業(yè)都將其作為今后的重點發(fā)展方向。特別是隨著以Android平臺為代表的智能手機的普及,使二者的應(yīng)用場景獲得了極大的擴展,實現(xiàn)了從專業(yè)領(lǐng)域到消費領(lǐng)域的全面覆蓋。

目前,圖像處理與云服務(wù)整合的形式大多還停留在初級階段,多數(shù)仍以簡單的云備份為主,兩者間少有深度整合的案例,因此,本項目具有很深的理論意義和廣泛的應(yīng)用前景,項目對二者結(jié)合的構(gòu)思也為未來提供了一個參考方向,具有良好的創(chuàng)新意義。

本項目組前期研究充分,提出問題實際,解決問題思路清晰可行。所有組員均具備自我學(xué)習(xí)和實踐動手能力,有很強的創(chuàng)新精神,并已經(jīng)具備一定的專業(yè)基礎(chǔ),所做技術(shù)方案合理,對項目的重點和難點分析準(zhǔn)確,難點有替代方案,能夠執(zhí)行相關(guān)項目實驗。

綜上,本人推薦本項目組申報大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實驗計劃項目。

 

 

 

 

 

簽字:                   日期:

 

 

 

 

 

 

 

 

 

附錄1:系統(tǒng)主要硬件設(shè)備清單

序號

名 稱

描 述

單價(元)

外觀

1

Android終端

Android平臺軟件的調(diào)試、測試、發(fā)布等提供支持

1000

 

2

臺式服務(wù)器

發(fā)送、接收、處理用戶端發(fā)送的數(shù)據(jù),為Web服務(wù)器提供硬件支持

4000

 

3

樹莓派

為項目初期測試提供硬件支持

250

4

樹莓派電源、保護殼、散熱器

為樹莓派供電、散熱,以保證其穩(wěn)定運行

50

 

5

32GB存儲卡

用于在樹莓派上安裝系統(tǒng)及存儲數(shù)據(jù)

60

 

6

USB鍵鼠

用于操作樹莓派

100

 

 

黄色在线网站wwwwww,亚洲一区免费观看,疯狂丑小鸭2,特黄毛片官网免费看