近期，信息學(xué)院青年教師范新在認(rèn)知通信和網(wǎng)絡(luò)領(lǐng)域TOP期刊《IEEE Transactions on Cognitive Communications and Networking》以第一作者發(fā)表學(xué)術(shù)論文“CB-DSL: Communication-efficient and Byzantine-robust Distributed Swarm Learning on Non-i.i.d. Data”，北京林業(yè)大學(xué)為第一完成單位。該期刊簡稱為“IEEE TCCN”，中科院SCI期刊分區(qū)表大類和小類均為一區(qū)，2023年影響因子為8.6。
物聯(lián)網(wǎng)設(shè)備收集的豐富數(shù)據(jù)和機器學(xué)習(xí)（Machine Learning，ML）的復(fù)興，引發(fā)了人工智能（Artificial Intelligence，AI）的最新趨勢。然而，傳統(tǒng)的機器學(xué)習(xí)和最近的聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)L）還面臨著重大挑戰(zhàn)，包括通信瓶頸、數(shù)據(jù)異構(gòu)和邊緣物聯(lián)網(wǎng)的安全問題等。同時，大規(guī)模物聯(lián)網(wǎng)系統(tǒng)的群體性特征被大多數(shù)現(xiàn)有研究忽視。為解決上述挑戰(zhàn)和問題，需要對分布式學(xué)習(xí)算法進行新的設(shè)計，范新在論文提出了一種高效魯棒的分布式學(xué)習(xí)方法CB-DSL。
圖1：本文提出的CB-DSL模型圖
在自然界中，生物有機體的個體能力往往顯得微不足道。然而，通過集結(jié)成群的方式，它們在信息整合、環(huán)境適應(yīng)以及決策制定等方面卻能展現(xiàn)出驚人的實力。這不僅揭示了生物群體行為的復(fù)雜性和智慧，也突顯了群體力量在應(yīng)對環(huán)境挑戰(zhàn)中的重要性。受生物智能（Biological Intelligence，BI）的啟發(fā)，文章提出了一種新的群體物聯(lián)網(wǎng)邊緣學(xué)習(xí)方法。通過AI隨機梯度下降和BI粒子群優(yōu)化的有機集成，該方法可以有效提升分布式學(xué)習(xí)性能。為了應(yīng)對non-i.i.d.數(shù)據(jù)問題和拜占庭攻擊，文章在CB-DSL中引入少量全局?jǐn)?shù)據(jù)樣本，并在物聯(lián)網(wǎng)設(shè)備之間共享，有效緩解了局部數(shù)據(jù)的異構(gòu)性，使群體智能的探索利用機制得以充分發(fā)揮。文章以收斂性分析的角度從理論上證明了CB-DSL優(yōu)于標(biāo)準(zhǔn)FL，具有更好的收斂性；同時，通過推導(dǎo)其上界來評估CB-DSL的模型散度性能，該上界衡量了引入全局共享數(shù)據(jù)集的有效性。
據(jù)悉，這是首次嘗試?yán)肁I和BI的各自的算法優(yōu)勢，來提高分布式學(xué)習(xí)系統(tǒng)性能并給出理論分析的研究工作，為分布式學(xué)習(xí)在大規(guī)模智慧物聯(lián)網(wǎng)場景下的應(yīng)用提供了潛在的解決方案，推動了邊緣AI的進一步發(fā)展。
論文鏈接：https://ieeexplore.ieee.org/abstract/document/10242235/
