1．研究背景
1.1我國(guó)柑橘產(chǎn)量現(xiàn)狀及預(yù)測(cè)
我國(guó)柑橘的產(chǎn)量，自2007年以來一直呈增長(zhǎng)態(tài)勢(shì)。從2007年至2017年的11年間柑橘產(chǎn)量連續(xù)增加，分別由2058.3萬(wàn)噸增加至3 816.8萬(wàn)噸（如圖1所示），每年平均增加159.86萬(wàn)噸。到2020年預(yù)計(jì)柑橘產(chǎn)量略有增加，產(chǎn)量增加到4 100萬(wàn)噸左右[1]。
圖1 2007年-2017年我國(guó)柑橘產(chǎn)量統(tǒng)計(jì)圖
1.2我國(guó)柑橘采摘與其面臨的問題
在我國(guó)，每到柑橘收獲季節(jié)，都有大量的柑橘需要在短期內(nèi)采摘。而目前的柑橘采摘工作依然主要依靠人工完成，工作量大，工作強(qiáng)度高。但是，隨著人口老齡化以及農(nóng)村青壯年勞動(dòng)力人口向城市轉(zhuǎn)移，柑橘采摘工人數(shù)量與質(zhì)量均出現(xiàn)下滑。我國(guó)柑橘生產(chǎn)迫切需要自動(dòng)化的采摘設(shè)備。
2．研究的目的與意義
在果蔬生產(chǎn)作業(yè)中，采摘效率低，費(fèi)用占成本的比例約為50% ～70%，并且作業(yè)的質(zhì)量直接影響到果蔬的儲(chǔ)存、加工及銷售[2]。目前，國(guó)內(nèi)的果蔬采摘基本上采用手工方式.隨著人口老齡化以及農(nóng)村青壯年勞動(dòng)力人口向城市轉(zhuǎn)移，迫切需要自動(dòng)化的采摘設(shè)備。但是果蔬的生長(zhǎng)隨時(shí)空環(huán)境的變化而變化，存在非結(jié)構(gòu)性和不確定性，果實(shí)嬌嫩、果梗堅(jiān)硬、果實(shí)青熟夾雜并且枝葉茂密，工作環(huán)境復(fù)雜，這些都制約著自動(dòng)采摘設(shè)備的研發(fā)[3]?，F(xiàn)在國(guó)內(nèi)外的果蔬采摘機(jī)器人的主要工作目標(biāo)多為非結(jié)構(gòu)性和不確定性較小的果蔬，諸如西紅柿[4,5]、黃瓜[6]、茄子[7]、櫻桃、草莓[8]、蘋果[9]葡萄[10]及蘑菇等，而柑橘因?yàn)楣６糖夷举|(zhì)化程度高，較為堅(jiān)硬[11]，果實(shí)青熟夾雜并且枝葉茂密易造成對(duì)果實(shí)的遮擋，因此，以此為采摘目標(biāo)的機(jī)器人較少。因此，本項(xiàng)目提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的智能柑橘采摘機(jī)器人設(shè)計(jì)，包括視覺識(shí)別系統(tǒng)和末端執(zhí)行器設(shè)計(jì)，實(shí)現(xiàn)自動(dòng)檢測(cè)柑橘成熟度并自行采摘的預(yù)期目標(biāo)，以期代替人工勞動(dòng)，一是將人從繁雜勞累的柑橘采摘過程中解放出來；二是提高柑橘采摘效率、降低柑橘生產(chǎn)的成本，增加果農(nóng)收入；三是保證柑橘品質(zhì)；四是在人口老齡化趨勢(shì)日益嚴(yán)重、農(nóng)村青壯年勞動(dòng)力不斷向城市轉(zhuǎn)移的時(shí)候，彌補(bǔ)農(nóng)村勞動(dòng)力的不足；五是加快農(nóng)業(yè)生產(chǎn)自動(dòng)化的進(jìn)程。
3．研究?jī)?nèi)容
整體流程梗概
3.1系統(tǒng)硬件部分
3.1.1機(jī)械臂結(jié)構(gòu)設(shè)計(jì)
就農(nóng)作物采摘而言，采摘的執(zhí)行效果非常依賴于機(jī)械臂的結(jié)構(gòu)設(shè)計(jì)與控制。對(duì)于植株式的柑橘，其果實(shí)在空間上的分布較為立體且極具隨機(jī)性，因此串聯(lián)型多自由度機(jī)械臂較適合這樣的工作環(huán)境，結(jié)構(gòu)可參考ABB IRB 4600型號(hào)機(jī)械臂，如圖2所示，最終能滿足機(jī)械臂采摘工作的所需的精度與強(qiáng)度。
3.1.2采摘末端結(jié)構(gòu)設(shè)計(jì)
末端執(zhí)行器安裝在機(jī)械手的末端，其功能類似于人手，是直接與目標(biāo)物體接觸的部件。在末端執(zhí)行器設(shè)計(jì)之前，不僅需要研究工作對(duì)象的物理特性(物體大小、體積、形狀、重量)和機(jī)械特性(摩擦阻力、剪切阻力等)，還包括生物學(xué)特性等。末端執(zhí)行器的形式主要有吸盤式(真空式吸盤、噴射式負(fù)壓吸盤、擴(kuò)散式負(fù)壓吸盤、擠壓排氣式吸盤、電磁式吸盤等)、針式、噴嘴式、杯狀、多關(guān)節(jié)手爪式、順應(yīng)型指結(jié)構(gòu)等，如圖3所示，通常是末端執(zhí)行器都是專用的，最終，能夠在在不對(duì)果實(shí)造成創(chuàng)傷的情況下，實(shí)現(xiàn)果實(shí)的有效分離。
3.1.3深度相機(jī)類型
實(shí)現(xiàn)采摘，目標(biāo)的檢測(cè)與空間定位，則是本項(xiàng)目的核心。實(shí)際生產(chǎn)環(huán)境下場(chǎng)景可能偏復(fù)雜，自然光條件多變，因此，我們需要一個(gè)分辨率較高，同時(shí)對(duì)自然環(huán)境下有一定抗干擾的能力的深度相機(jī)方案，以進(jìn)行后續(xù)圖像分割，識(shí)別，跟蹤等方面的工作。目前市場(chǎng)的主要的：1、雙目方案2、TOF方案抗3、結(jié)構(gòu)光方案 以及方案對(duì)比，如圖4所示。
1、結(jié)構(gòu)光方案優(yōu)勢(shì)在于技術(shù)成熟，深度圖像分辨率可以做得比較高，但容易受光照影響，室外環(huán)境基本不能使用
2、TOF方案抗干擾性能好，視角更寬，不足是深度圖像分辨率較低，做一些簡(jiǎn)單避障和視覺導(dǎo)航可以用，不適合高精度場(chǎng)合。受環(huán)境影響小，傳感器芯片并不成熟，成本很高，實(shí)現(xiàn)量產(chǎn)困難。
3、雙目方案，成本相對(duì)前面兩種方案最低，但是深度信息依賴純軟件算法得出，此算法復(fù)雜度高，難度很大，處理芯片需要很高的計(jì)算性能，同時(shí)它也有普通RGB攝像頭的缺點(diǎn)：在昏暗環(huán)境下以及特征不明顯的情況下并不適用
在本項(xiàng)目中，雙目方案得到的圖像分辨率更高，而我們則希望通過圖像分割和相關(guān)深度學(xué)習(xí)模型來彌補(bǔ)其精度上的不足。
  
圖2 IRB 4600型號(hào)機(jī)械臂 圖3 順應(yīng)型指結(jié)構(gòu) 圖4雙目,TOF,結(jié)構(gòu)光三種深度相機(jī)對(duì)比
3.2系統(tǒng)軟件部分
3.2.1機(jī)械臂運(yùn)動(dòng)控制
結(jié)合MATLAB Robotics toolbox工具箱對(duì)檢測(cè)到的空間坐標(biāo)進(jìn)行逆運(yùn)動(dòng)求解。我們采用的機(jī)械臂結(jié)構(gòu)滿足Pieper準(zhǔn)則即：機(jī)器人的三個(gè)相鄰關(guān)節(jié)軸交于一點(diǎn)或三軸線平行。因此若采用六自由度結(jié)構(gòu)可求出唯一逆解。結(jié)合果實(shí)的空間分布范圍，將單次抓取范圍限定在2m*1m范圍內(nèi)，如圖5所示，由MATLAB建模如下，運(yùn)行效果如圖6:
L1 = Link('d', 1, 'a', 0, 'alpha', 0,'offset',pi/4);
L2 = Link('d', 0, 'a', 0, 'alpha', pi/2,'offset',pi/4);
L3 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',pi/4);
L4 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',pi/2);
L5 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',0);
b=isrevolute(L1); %Link 類函數(shù)
robot=SerialLink([L1,L2,L3,L4,L5]); %SerialLink 類函數(shù)
robot.display(); %Link 類函數(shù)theta=[0,0,0,0,pi/4];
robot.plot(theta); %SerialLink 類函
以機(jī)械臂底座為坐標(biāo)標(biāo)系原點(diǎn)，得到目標(biāo)的適當(dāng)夾取姿態(tài)后，即可通過MATLAB快速求得逆解，實(shí)現(xiàn)夾取。
 
圖5單次抓取范圍 單位mm 圖6 robotics 工具箱仿真
3.2.2深度相機(jī)的誤差處理以及像素匹配
實(shí)現(xiàn)采摘，最重要的就是深度信息的獲取。雙目攝像頭在理想情況下可假定兩個(gè)成像平面平行，但實(shí)際上兩攝像頭的極平面并不平行，而造成得到的深度信息存在誤差，因此在計(jì)算深度信息之前需要對(duì)同時(shí)獲取的圖像進(jìn)行校正與匹配。目前可以參考的矯正方法：通過分別對(duì)兩張圖片用單應(yīng)（homography）矩陣變換（可以通過標(biāo)定獲得圖8），把兩個(gè)不同方向的圖像平面（圖8中灰色平面）重新投影到同一個(gè)平面且光軸互相平行（圖8中黃色平面），以此來逼近理性的平行情況。
雙目相機(jī)的像素匹配精度高低，也會(huì)影響實(shí)際的目標(biāo)定位效果。像素點(diǎn)過少比較匹配起來魯棒性很差，很容易受到光照變化和視角不同的影響，那么，可以參考幾個(gè)匹配算法。1基于滑動(dòng)窗口的圖像匹配，如圖9。對(duì)于左圖中的一個(gè)像素點(diǎn)（圖9左圖中紅色方框中心），在右圖中從左到右用一個(gè)同尺寸滑動(dòng)窗口內(nèi)的像素和它計(jì)算相似程度，相似度的度量有很多種方法，比如 誤差平方和法（Sum of Squared Differences，簡(jiǎn)稱SSD），圖9左右圖中兩個(gè)窗口越相似，SSD越小。圖9右下圖中的SSD曲線顯示了計(jì)算結(jié)果，SSD值最小的位置對(duì)應(yīng)的像素點(diǎn)就是最佳的匹配結(jié)果。2基于能量?jī)?yōu)化的圖像匹配 這是基于能量?jī)?yōu)化的方法來實(shí)現(xiàn)匹配。能量?jī)?yōu)化通常會(huì)先定義一個(gè)能量函數(shù)。比如對(duì)于兩張圖中像素點(diǎn)的匹配問題來說，我們定義的能量函數(shù)如下圖7公式a 。那么：
1、在左圖中所有的像素點(diǎn)和右圖中對(duì)應(yīng)的像素點(diǎn)越近似越好，反映在圖像里就是灰度值越接近越好，也就是下圖7公式b的描述。
2、在 同一張圖片里，兩個(gè)相鄰的像素點(diǎn)視差（深度值）也應(yīng)該相近。也就是圖7公式c的描述。
圖7 a、b、c公式
通過對(duì)能量函數(shù)最小化，我們最后能得到一個(gè)最佳的匹配結(jié)果。有了左右圖的每個(gè)像素的匹配結(jié)果，根據(jù)前面的深度計(jì)算公式就可以得到每個(gè)像素點(diǎn)的深度值，最終得到一幅深度圖。
圖8 矩陣變換以達(dá)平衡
圖9基于滑動(dòng)窗口的圖像匹配
3.2.3基于卷積神經(jīng)網(wǎng)絡(luò)下圖片中的目標(biāo)識(shí)別
現(xiàn)如今許多優(yōu)秀的深度學(xué)習(xí)模型中總能發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的影子，卷積神經(jīng)網(wǎng)絡(luò)是近年來深度學(xué)習(xí)能在計(jì)算機(jī)視覺中取得突破性成果的基石。
如圖10所示，LeNet-5是一個(gè)較簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)，輸入二維圖像，先經(jīng)過兩次卷積層到池化層，再經(jīng)過全連接層，最后使用softmax分類作為輸出層。
圖10 LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
卷積層
卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心基石。對(duì)二維圖像而言，卷積簡(jiǎn)單的講就是二維濾波器滑動(dòng)到二維圖像上所有位置，并在每個(gè)位置上與該像素點(diǎn)及其領(lǐng)域像素點(diǎn)做內(nèi)積（如圖11、12所示）。不同的卷積核可以提取出圖像中不同的特征，如邊沿，線性角等特征，因此在卷積神經(jīng)網(wǎng)絡(luò)中通過卷積操作可以提取出圖像低級(jí)到復(fù)雜的特征。
圖11 卷積提取圖像特征、濾波器與圖像對(duì)應(yīng)區(qū)域進(jìn)行內(nèi)積
池化層
池化是非線性下采樣的一種形式，主要作用是通過減少網(wǎng)絡(luò)的參數(shù)來減小計(jì)算量，并且能夠在一定程度上控制過擬合。通常在卷積層的后面會(huì)加上一個(gè)池化層。池化包括最大池化、平均池化等。
總結(jié)：卷積神經(jīng)網(wǎng)絡(luò)可以很好的利用圖像的結(jié)構(gòu)信息，高效地提取出圖像中的結(jié)構(gòu)信息，同時(shí)卷積網(wǎng)絡(luò)參數(shù)較少，可以很好地訓(xùn)練和控制過擬合。
3.3系統(tǒng)綜合運(yùn)行性能分析
本項(xiàng)目的核心在于對(duì)果實(shí)進(jìn)行較為準(zhǔn)確的空間定位。將RGB圖像通過優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)，來對(duì)圖像中被遮擋果實(shí)進(jìn)行更準(zhǔn)確的識(shí)別，同時(shí)結(jié)合深度相機(jī)返回的深度圖像，二者疊加得到果實(shí)的空間位置。通過增加不同光照環(huán)境下樣本的訓(xùn)練量，能較好地克服自然光變化對(duì)深度相機(jī)成像的影響，保證定位精度。
在移動(dòng)平臺(tái)停止后，單次識(shí)別后的計(jì)劃采摘速度:20+pcs/min(個(gè)每分)。
4. 面臨問題
很多國(guó)家對(duì)柑橘采摘機(jī)器人的研究都進(jìn)行了大量的工作并且取得了一定的成果, 但是柑橘采摘機(jī)器人仍然處于研究的階段，并沒有達(dá)到商業(yè)化水平, 仍存在以下問題需要改進(jìn)。
4.1 果實(shí)的識(shí)別率、定位精度不高
目前識(shí)別果實(shí)主要有灰度閾值、顏色色度法和幾何形狀特性等方法[12]。其中, 前兩者主要基于果實(shí)的光譜反射特性, 但在自然光照情況下, 由于圖像中存在噪聲和各種干擾信息, 效果并不是很好。采用形狀定位方式, 要求目標(biāo)具有完整的邊界條件, 由于水果和葉子等往往容易重疊在一起, 很難真正區(qū)別出果實(shí)的具體形狀, 這就會(huì)給機(jī)器臂末端執(zhí)行器抓取果實(shí)增加難度, 進(jìn)而影響果實(shí)的采摘成功率。
4.2果實(shí)采摘效率較低、損傷率較大
柑橘采摘機(jī)器人在實(shí)際工作過程中, 柑橘的生長(zhǎng)隨時(shí)空環(huán)境的變化而變化，存在非結(jié)構(gòu)性和不確定性，果實(shí)青熟夾雜并且果樹枝葉茂密，都會(huì)影響柑橘的采摘時(shí)間, 因此目前大多采摘機(jī)器人的效率不高。
柑橘果實(shí)嬌嫩、果梗堅(jiān)硬，采摘機(jī)器人采摘柑橘的方式一般是擰斷、剪斷, 都是模仿人們?cè)谧匀坏貤l件下采摘[11]。柑橘因?yàn)楣６糖夷举|(zhì)化程度高，較為堅(jiān)硬，現(xiàn)如今的采摘機(jī)器人雖然是智能控制, 但是也不可避免地會(huì)對(duì)果實(shí)造成內(nèi)部的擠壓變形以及表面的劃傷。所以需要更加適合于機(jī)器采摘的末端執(zhí)行機(jī)構(gòu)。
5．解決的主要問題
5.1解決面對(duì)自然光變化和枝葉部分遮擋情況下的果實(shí)定位問題
在自然生長(zhǎng)情況下，從單方向的角度觀察，多數(shù)果實(shí)往往被枝杈、樹葉掩蓋，攝像機(jī)只能捕捉到果實(shí)的部分圖像。而一般的方法難以準(zhǔn)確定位果實(shí)位置，這要求我們采用建立數(shù)學(xué)模型的方法，還原果實(shí)的輪廓，從而找到的果實(shí)的中心位置坐標(biāo)。
果實(shí)的形狀、尺寸、顏色 、成熟度、表皮外傷程度差異性大, 而且果實(shí)總是隨機(jī)分布生長(zhǎng), 這給果實(shí)的識(shí)別帶來很大的困難。目前識(shí)別果實(shí)的方法主要有灰度閾值、顏色識(shí)別法和區(qū)域識(shí)別法等。前兩種方法都要基于果實(shí)的光譜反射特性, 因此還極易受到自然光照的影響 。而區(qū)域定位方式 , 則要求目標(biāo)具有完整的邊界條件 ,但是由于果實(shí)往往被枝干和葉子遮擋 ,很難真正區(qū)別出完整的輪廓 。我們?cè)诂F(xiàn)有方法的基礎(chǔ)上，采用建立柑橘形態(tài)數(shù)學(xué)模型與基于深度學(xué)習(xí)的圖像識(shí)別方法，綜合各方法的優(yōu)勢(shì)，以期達(dá)到較好的定位效果。
5.2機(jī)械臂末端采摘器的設(shè)計(jì)優(yōu)化
采摘機(jī)器人的運(yùn)動(dòng)部分主要包括輪式移動(dòng)平臺(tái)及其搭載的多自由度機(jī)械臂。
在實(shí)驗(yàn)室研發(fā)測(cè)試階段，已有的輪式移動(dòng)平臺(tái)采用麥克納姆輪結(jié)構(gòu)。該平臺(tái)需與相機(jī)反饋回來的柑橘位置信息運(yùn)動(dòng)調(diào)整，使目標(biāo)柑橘能處在機(jī)械臂的工作區(qū)域范圍之內(nèi)。
機(jī)械臂主體部分保留，僅對(duì)末端執(zhí)行機(jī)構(gòu)進(jìn)行重新設(shè)計(jì)制作，使其更加適用于柑橘的采摘工作，達(dá)到高效采摘、不損傷果實(shí)的目的。在機(jī)械臂運(yùn)動(dòng)方面，由于枝葉的覆蓋，除機(jī)器視覺系統(tǒng)需要準(zhǔn)確識(shí)別定位出果實(shí)所在的位置，機(jī)械臂及其末端還應(yīng)能具體實(shí)現(xiàn)采摘?jiǎng)幼?，尤其是如何繞開前方的枝葉、其它相鄰的果實(shí)等。
|
