近期，信息學(xué)院（人工智能學(xué)院）盧昊副教授研究團(tuán)隊(duì)聯(lián)合中國(guó)林業(yè)科學(xué)研究院、瑞士聯(lián)邦森林、雪與景觀研究所（WSL）等機(jī)構(gòu)研究人員，在遙感領(lǐng)域頂刊《Remote Sensing of Environment》（中國(guó)科學(xué)院一區(qū)Top，IF=11.1）上發(fā)表題為"Towards a point cloud understanding framework for forest scene semantic segmentation across forest types and sensor platforms"的研究成果。該研究針對(duì)復(fù)雜森林場(chǎng)景，提出了大規(guī)模三維點(diǎn)云理解的神經(jīng)網(wǎng)絡(luò)模型Sen-net，實(shí)現(xiàn)了點(diǎn)云多種組分的高精度語(yǔ)義分割。
森林場(chǎng)景往往具有復(fù)雜三維結(jié)構(gòu)，包括林木（含樹(shù)干、樹(shù)枝、樹(shù)葉）和其他（草、灌、地面等）多種成分，這些成分對(duì)森林生態(tài)系統(tǒng)的作用和影響是不同的。通過(guò)遙感技術(shù)測(cè)量這些成分，對(duì)定量、精確、完整地理解森林生態(tài)過(guò)程具有重要意義。無(wú)人機(jī)激光雷達(dá)（LiDAR）三維點(diǎn)云是進(jìn)行森林三維結(jié)構(gòu)刻畫(huà)的有力工具，但復(fù)雜的成分和結(jié)構(gòu)使點(diǎn)云數(shù)據(jù)難以采用傳統(tǒng)的特征工程、啟發(fā)式方法或機(jī)器學(xué)習(xí)進(jìn)行高精度語(yǔ)義分割。
團(tuán)隊(duì)基于長(zhǎng)期在三維點(diǎn)云處理方面的研究，充分發(fā)揮“遙感—林草—AI”學(xué)科交叉融合的優(yōu)勢(shì)，發(fā)展了數(shù)據(jù)驅(qū)動(dòng)的深度神經(jīng)網(wǎng)絡(luò)模型，從森林場(chǎng)景三維點(diǎn)云有效分離出樹(shù)葉、木質(zhì)成分、低矮植被及地面。針對(duì)這一目標(biāo)：
（1）獨(dú)立構(gòu)建了大規(guī)模森林場(chǎng)景點(diǎn)云標(biāo)注數(shù)據(jù)集Lin3D。針對(duì)國(guó)際上該領(lǐng)域標(biāo)注數(shù)據(jù)稀缺的問(wèn)題，構(gòu)建了總面積超過(guò)20000 m2、包含不同氣候帶、森林類(lèi)型、樹(shù)種、林分密度、地形條件的數(shù)據(jù)集Lin3D。
圖1. 大規(guī)模數(shù)據(jù)集Lin3D示例
（2）設(shè)計(jì)和訓(xùn)練了專(zhuān)門(mén)針對(duì)森林場(chǎng)景三維點(diǎn)云理解的神經(jīng)網(wǎng)絡(luò)模型Sen-net。結(jié)合長(zhǎng)距離上下文信息與數(shù)據(jù)集先驗(yàn)知識(shí)，基于語(yǔ)義驅(qū)動(dòng)融合多尺度特征，通過(guò)自適應(yīng)學(xué)習(xí)方式，有效將森林場(chǎng)景“端到端”地分割為樹(shù)葉、木質(zhì)成分、低矮植被及地面組分。
圖2. Sen-net網(wǎng)絡(luò)架構(gòu)
在Lin3D數(shù)據(jù)集上，Sen-net總體正確率、平均交并比分別達(dá)到97.6%和85.1%；在國(guó)際公開(kāi)數(shù)據(jù)集上，總體正確率、平均交并比分別達(dá)到94.5%和78.2%，說(shuō)明Sen-net在準(zhǔn)確性和泛化能力方面表現(xiàn)出色，優(yōu)于同類(lèi)方法。該網(wǎng)絡(luò)無(wú)需調(diào)節(jié)參數(shù)，使用方便，泛化能力強(qiáng)，適用于森林場(chǎng)景點(diǎn)云分析，并可作為森林場(chǎng)景點(diǎn)云處理算法的基礎(chǔ)性框架，該研究成果表明團(tuán)隊(duì)在這一領(lǐng)域的研究處于國(guó)際前沿水平。
圖3. Sen-net對(duì)Lin3D數(shù)據(jù)的分割結(jié)果
圖4. Sen-net對(duì)幾個(gè)國(guó)際公開(kāi)數(shù)據(jù)的分割結(jié)果
盧昊副教授為第一作者，信息學(xué)院2024屆碩士畢業(yè)生李博文和中國(guó)林業(yè)科學(xué)研究院資源信息研究所龐勇研究員為通訊作者。
該研究受到國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“森林資源激光雷達(dá)遙感動(dòng)態(tài)監(jiān)測(cè)與蓄積量估測(cè)技術(shù)聯(lián)合研發(fā)”（2020YFE0200800）、國(guó)家自然科學(xué)基金項(xiàng)目“多源機(jī)載LiDAR數(shù)據(jù)融合的落葉松表型分析方法研究”（42001376）和雄安新區(qū)科技創(chuàng)新專(zhuān)項(xiàng)“雄安新區(qū)綠色生態(tài)城市智慧森林經(jīng)營(yíng)關(guān)鍵技術(shù)應(yīng)用與示范”（2023XAGG0065）的資助。
論文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S0034425724006175
