<input id="i6gg6"><blockquote id="i6gg6"></blockquote></input>
  • <sup id="i6gg6"><rt id="i6gg6"></rt></sup>
    <blockquote id="i6gg6"></blockquote>
  • <blockquote id="i6gg6"></blockquote>
  • <dd id="i6gg6"><blockquote id="i6gg6"></blockquote></dd>
  • <blockquote id="i6gg6"><small id="i6gg6"></small></blockquote>

    一種基于深度學習和部件先驗的遙感影像飛機識別方法與流程

    文檔序號:25494303發布日期:2021-06-15 22:26
    一種基于深度學習和部件先驗的遙感影像飛機識別方法與流程

    本發明屬于高分辨率遙感影像識別領域,特別涉及細粒度目標遙感深度學習識別方法。



    背景技術:

    遙感技術的飛速發展,現在可以提供大量的高分辨率遙感影像。與低分辨率影像相比,高分辨率遙感影像包含更詳細的空間信息,不僅帶來了機遇,但也給遙感影像的識別帶來挑戰?;诟叻直媛蔬b感影像技術的識別與分析現已運用于飛機型號識別任務中。飛機識別,旨在區分飛機類型,在民用和軍用領域都至關重要,比如:飛機搜尋和救援、飛機監視、飛行計劃和軍事決策等應用。

    飛機型號識別是一類細粒度目標識別問題。關于飛機識別的研究很多,但是在小樣本情況下的飛機型號識別仍然是研究的難點。因為傳統的深度學習方法是數據驅動的,在小樣本情況下,模型難以擬合,導致無法學習到如何定位有效特征,使得模型識別性能大幅度下降?,F有的細粒度圖像識別算法的主要思路為:定位影像中的判別性區域,來提取有效特征??梢苑譃槿箢悾夯诙ㄎ?分類子網絡的識別算法、基于端到端編碼算法、基于額外輔助數據算法。fu提出一個多類激活圖算法來實現弱監督飛機部件提取,從而進行飛機型號識別。xiong提出一種非局部增強特征融合算法來融合部件級特征,從而提升飛機型號識別精度。

    盡管上述方法已大大提高了細粒度飛機識別的性能,但針對小樣本情況下還是難以進行有效提取。因此,為了解決小樣本細粒度飛機型號識別問題,提出了一種新穎的飛機識別框架來實現飛機型號識別。



    技術實現要素:

    本發明的目的在于提出一種基于深度學習和部件先驗的遙感影像飛機識別方法。

    提出的基于深度學習和部件先驗的遙感影像飛機識別方法,由三個組件組成,分別是飛機目標先驗庫,部件特征提取和型號識別網絡。首先,將影像輸入飛機部件先驗庫中以獲取飛機部件先驗;其次,將影像輸入深度卷積神經網絡以提取深度抽象特征。第三,基于深度卷積特征和飛機部件先驗,通過對不同部件特征進行求和運算實現部件特征融合。最后,輸出識別結構,以實現對細粒度飛機型號識別。為了評估細粒度飛機型號識別框架的性能,采用一個公開的民航飛機型號數據集進行模型驗證,共包含10個民用飛機型號。

    本發明提供一種基于深度學習和部件先驗的遙感影像飛機識別方法,實現步驟如下:

    步驟1,獲取高分辨率遙感影像飛機型號數據集,選取固定少量樣本作訓練集,構建小樣本庫,選取固定數量樣本作測試集;

    步驟2,構建并訓練基于飛機部件先驗的飛機型號識別模型,包括以下子步驟;

    步驟21,構建飛機部件訓練集,利用飛機部件訓練集訓練語義分割模型,獲取飛機部件先驗;

    步驟22,將步驟1中的訓練集輸入resnet網絡提取卷積特征,得到深度抽象特征;

    步驟23,基于飛機部件先驗,對深度抽象特征進行飛機部件特征選擇;

    步驟24,基于飛機部件特征的特征融合,將融合特征輸入到一個全連接層,得到分類結果,結合分類結果和型號真實標簽計算交叉熵損失函數,通過反向傳播和隨機梯度下降優化算法進行模型參數優化;

    步驟3,利用訓練收斂后的基于飛機部件先驗的飛機型號識別模型,對測試集進行預測,利用輸出概率獲取識別結果。

    進一步的,步驟1的具體實現包括如下子步驟;

    步驟11,利用無人機或者高分衛星進行拍攝獲取大量高空間分辨率影像;

    步驟12,采集遙感影像中機場的飛機作為樣本,將飛機型號與對應區域影像制作成深度學習飛機型號識別數據集;

    步驟13,將深度學習飛機型號識別數據集劃分成兩個部分,用于擬合模型參數的小樣本訓練集a與用于模型精度評定的測試集b;

    進一步的,步驟21中獲取飛機部件先驗的具體實現方式如下;

    步驟211,構建飛機部件訓練集,標記頭部、左翼、右翼、機身、尾翼共5個部件,將構建好的訓練集輸入基于分層多尺度特征融合網絡的語義分割模型中,得到預測結果,基于預測結果與真實標簽計算損失函數,對模型參數進行優化更新;

    步驟212,分層多尺度特征融合網絡包含大、中、小三個尺度的網絡分支:1)大尺度網絡分支由9個卷積層連接,沒有池化層,從而保證特征尺度不會縮小,特征分辨率始終保持較高水平;2)中尺度網絡分支的特征來自于大尺度網絡分支的第二個卷積層,首先對這第二個卷積層得到的特征進行池化,得到縮小一倍的特征,然后輸入6個卷積層進行卷積運算,最后,通過2倍上采樣得到和大尺度網絡分支相同尺寸的特征;3)小尺度網絡分支的特征來自于中尺度網絡分支的第三個卷積層,首先對第三個卷積層得到的特征進行池化,得到縮小一倍的特征,然后輸入3個卷積層進行卷積運算,最后,通過4倍上采樣得到和大尺度網絡分支相同尺寸的特征,最后,將來自大、中、小網絡分支的三組等大的特征進行疊加,得到最終特征輸出;

    再將分層多尺度特征融合網絡的輸出特征輸入到語義分割分支,得到飛機部件先驗,即飛機部件掩膜。

    進一步的,步驟22中,resnet網絡中引入多個殘差單元,殘差單元的表達式如下:

    yl=h(xl)+f(xl,wl)

    其中xl表示第l個殘差單元的輸入,h表示恒等變換,即輸入等于輸出;f是卷積函數,表示學習到的卷積特征,w1表示模型權重,殘差單元的核心是將原始的輸入特征和卷積之后的特征求和,作為最終輸出;

    將訓練集a輸入到resnet網絡中,通過堆疊的7組殘差單元,分別得到64維、128維、256維的特征。

    進一步的,步驟23的具體實現方式如下;

    首先將飛機部件先驗被調整為和特征圖,即從resnet網絡得到的256維卷積特征相同尺寸的大??;調整大小后,將飛機部件對應的數值整數化為0,1,2,3,4和5,分別表示飛機頭部、左翼、右翼、機身、尾翼;當進行部件特征選擇時,利用這組序列號對飛機5個部件區域進行索引,分別得到對應5個部件區域的卷積特征,并通過最大池化和平均池化對卷積特征進行處理得到部件特征。

    進一步的,步驟24的具體實現方式如下;

    經過最大池化和平均池化操作后,生成5個512維的特征向量,通過5個全連接層將這些特征映射到5個4096維的特征空間,之后,5個特征向量通過求和函數融合到4096維特征向量中;然后,4096維的特征向量被輸入最后一個全連接層,映射到類別空間,得到的分類結果,通過與型號真實標簽結合,用于計算交叉熵損失函數,,通過反向傳播和隨機梯度下降優化算法進行模型參數優化。

    與現有技術相比,本發明的優點和有益效果為:利用部件先驗這一專家知識,指導深度學習模型定位飛機部件特征,顯著提升飛機型號識別精度。

    附圖說明

    圖1是本發明實施例1的流程圖。

    圖2是本發明實施例1中resnet網絡結構圖。

    圖3是本發明實施例1步驟23和步驟24中飛機部件特征選擇和融合流程圖。

    圖4是本發明實施例1中的飛機識別結果圖。

    具體實施方式

    下面通過實施例,進一步闡明本發明的突出特點和顯著進步,僅在于說明本發明而決不限制本發明。

    實施例1

    本發明實施例提供一種基于深度學習和部件先驗的遙感影像飛機識別方法,包括如下步驟:

    步驟1,獲取高分辨率遙感影像飛機型號數據集,選取固定少量樣本作訓練集,構建小樣本庫,選取固定數量樣本作測試集;

    步驟11,利用無人機或者高分衛星進行拍攝獲取大量高空間分辨率影像;

    步驟12,采集遙感影像中國內外機場的飛機作為樣本,將飛機型號與對應區域影像制作成深度學習飛機型號識別數據集。

    步驟13,將深度學習飛機型號識別數據集劃分成兩個部分,用于擬合模型參數的小樣本訓練集a與用于模型精度評定的測試集b;

    使用公開的高空間分辨率遙感影像民航飛機型號數據集,共10個類別型號,訓練數據集包含300幅影像,測試集為4448幅影像,每幅影像內僅包含一個飛機目標,該數據集包含來自國內外多個民用機場的飛機。選取數據集中的訓練集和測試集a與b,用于本實施的樣例數據。

    步驟2,構建并訓練基于飛機部件先驗的飛機型號識別模型,包括以下子步驟;

    步驟21,構建飛機部件訓練集,利用飛機部件訓練集訓練語義分割模型,獲取飛機部件先驗;

    步驟22,將步驟1中的訓練集輸入resnet網絡提取卷積特征,得到深度抽象特征;

    步驟23,基于飛機部件先驗,對深度抽象特征進行飛機部件特征選擇;

    步驟24,基于飛機部件特征的特征融合,將融合特征輸入到一個全連接層,得到分類結果,結合分類結果和型號真實標簽計算交叉熵損失函數,通過反向傳播和隨機梯度下降優化算法進行模型參數優化;

    步驟21的具體實現方式如下;

    步驟211,構建飛機部件訓練集,標記頭部、左翼、右翼、機身、尾翼共5個部件。將構建好的訓練集輸入語義分割模型,得到預測結果?;陬A測結果與真實標簽計算損失函數,對模型參數進行優化更新。

    步驟212,采用基于分層多尺度特征融合網絡的語義分割模型,對飛機的頭部、左翼、右翼、機身、尾翼進行語義級分割。為了提取到邊緣更加精細的飛機部件以提升部件先驗精度,自主構建分層多尺度特征融合網絡,結合語義分割分支進行語義分割。模型的主要特點是在整個過程中特征圖始終保持高分辨率,得到訓練完成的分層多尺度特征融合網絡語義分割模型后,將待識別的飛機影像輸入模型,得到測試結果,即為飛機部件先驗。

    如圖1所示,分層多尺度特征融合網絡包含大、中、小三個尺度的網絡分支:1)大尺度網絡分支僅僅由9個卷積層連接,沒有池化層,從而保證特征尺度不會縮小,特征分辨率始終保持較高水平;2)中尺度網絡分支的特征來自于大尺度網絡分支的第二個卷積層,首先對這第二個卷積層得到的特征進行池化,得到縮小一倍的特征,然后輸入6個卷積層進行卷積運算,最后,通過2倍上采樣得到和大尺度網絡分支相同尺寸的特征;3)小尺度網絡分支的特征來自于中尺度網絡分支的第三個卷積層,首先對這第三個卷積層得到的特征進行池化,得到縮小一倍的特征,然后輸入3個卷積層進行卷積運算,最后,通過4倍上采樣得到和大尺度網絡分支相同尺寸的特征。最后,將來自大、中、小網絡分支的三組等大的特征進行疊加,得到最終特征輸出。

    再將分層多尺度特征融合網絡的輸出特征輸入到語義分割分支,得到飛機部件先驗,即飛機部件掩膜。

    步驟22的具體實現方式如下;

    輸入訓練集a,采用resnet網絡作為基礎cnn特征提取器,將訓練集a中的影像輸入到resnet網絡中,通過后續模型訓練過程可以得到深度抽象特征。resnet相比傳統vgg模塊,改變了網絡結構,引入多個殘差模塊,殘差單元表達式如下:

    yl=h(xl)+f(xl,wl)

    其中xl表示第l個殘差單元的輸入。h表示恒等變換,即輸入等于輸出。f是卷積函數,表示學習到的卷積特征,w1表示模型權重。殘差單元的核心是將原始的輸入特征和卷積之后的特征求和,作為最終輸出。

    如圖2所示,resnet通過堆疊多個這樣的殘差模塊,在加深網絡層數的同時,有效保持淺層網絡特征。殘差模塊的堆疊就類似于常規卷積層的連接,通過7組殘差模塊,分別得到64維、128維、256維的特征。之所以有效是因為殘差學習相比原始特征直接學習更容易。當殘差(f運算的輸出)為0時,此時堆積層僅僅做了恒等映射,至少網絡性能不會下降,實際上殘差不會為0,這也會使得堆積層在輸入特征基礎上學習到新的特征,從而擁有更好的性能。這有點類似與電路中的“短路”,所以是一種短路連接(shortcutconnection)。

    步驟23的具體實現方式如下;

    具體流程如圖3所示,飛機部件先驗首先被調整為和特征圖(從resnet網絡得到的256維卷積特征)相同尺寸的大小。調整大小后,將飛機部件對應的數值整數化為0,1,2,3,4和5,分別表示飛機頭部、左翼、右翼、機身、尾翼。當進行部件特征選擇時,利用這組序列號對飛機5個部件區域進行索引,分別得到對應5個部件區域的卷積特征,并通過最大池化和平均池化得到部件特征。

    步驟24的具體實現方式如下;

    上述最大池化和平均池化操作后,生成5個512維的特征向量。通過5個全連接層將這些特征映射到5個4096維的特征空間。之后,5個特征向量通過求和函數融合到4096維特征向量中。然后,4096維的特征向量被輸入最后一個全連接層。得到的分類結果和型號真實標簽結合,用于計算交叉熵損失函數,通過反向傳播和隨機梯度下降優化算法進行模型參數優化。

    步驟3,利用訓練收斂后的基于飛機部件先驗的飛機型號識別模型,對測試集b進行預測,利用輸出概率獲取識別結果,如圖4所示。本次實驗選用民航10種型號的飛機數據集,包括:波音737、波音74、波音777、波音787、空客220、空客221、空客330、空客350、arj21和其他。在實驗結果中,每行表示不同對比方法的實驗結果,每列表示不同型號的飛機影像,小方框表示識別錯誤。通過對比實驗結果可以看出,本方法在各類飛機型號上均可得到正確的識別結果,而其他對比方法在某些型號上存在識別錯誤。

    本文中所描述的具體實施例僅僅是對本發明精神作舉例說明。本發明所屬技術領域的技術人員可以對所描述的具體實施例做各種各樣的修改或補充或采用類似的方式替代,但并不會偏離本發明的精神或者超越所附權利要求書所定義的范圍。

    再多了解一些
    當前第1頁1 2 3 
    網友詢問留言 已有0條留言
    • 還沒有人留言評論。精彩留言會獲得點贊!
    1
    色偷偷亚洲偷自拍视频_欧美色精品视频在线观看_欧美特黄特色三级视频在线观看_毛片免费全部播放无码