联邦学习是当今主流的隐私保护机器学习范式。然而，由于需要在众多客户端与服务器之间频繁传输高维梯度更新，其通信瓶颈问题日益突出。为解决此问题，梯度稀疏化，特别是top-k稀疏化，是一种被广泛认可的有效方法。该方法允许客户端仅上传梯度向量中最重要的k个梯度值，从而在保持模型效用的同时大幅减少通信量。然而，将top-k稀疏化集成到联邦学习系统中面临着严峻的隐私挑战。研究表明，梯度更新（包括top-k稀疏化后的梯度值及其索引）以及最终训练好的模型都可能泄露客户端的本地数据信息。因此，如何在提升通信效率的同时，兼顾梯度隐私保护，并为最终模型提供严格的差分隐私保障，已成为该领域亟待突破的核心难题。
在广东省自然科学基金（2024A1515012299）等项目的支持下，哈尔滨工业大学（深圳）花忠云教授和香港理工大学郑宜峰团队提出了一个名为Clover的全新系统框架，旨在实现通信高效、安全且具有差分隐私保护的联邦学习。Clover巧妙地融合了梯度稀疏化、数据编码、轻量级密码学和差分隐私技术，并采用了由三个服务器组成的分布式信任模型。我们首先设计了一种定制化的安全稀疏向量聚合机制（SparVecAgg）。通过创新的置换编码和轻量级秘密共享混洗（secret-shared shuffle）技术，SparVecAgg能够高效地聚合多个客户端的稀疏梯度，同时隐藏其中非零元素的值和索引。该机制在服务器端通信开销和运行时间上均比基于分布式ORAM的基线方法有数个数量级的降低，并进一步降低了客户端的通信开销。
为了给训练好的模型提供严格的差分隐私保障，Clover集成了一种轻量级的分布式噪声生成机制。该机制允许多个服务器协同、高效地向聚合后的梯度注入满足差分隐私要求的噪声，从而有效防止针对最终模型的推理攻击。此外，为了抵御恶意服务器的潜在威胁，我们还设计了一系列轻量级的完整性校验协议。我们为服务器端的置换解压缩和秘密共享混洗过程设计了一种定制化的盲MAC验证机制，并提出了一种基于Kolmogorov-Smirnov检验的轻量级方法，用于验证服务器生成的差分隐私噪声是否符合目标分布。
图1 不同方法下安全聚合 100 个稀疏向量时的服务器间通信开销对比
图2 不同方法下安全聚合 100 个稀疏向量时的服务器端运行时间对比
相关论文已被ACM CCS 2025接收，作者为哈尔滨工业大学（深圳）/香港理工大学徐双庆、香港理工大学郑宜峰、哈尔滨工业大学（深圳）花忠云。
Shuangqing Xu, Yifeng Zheng*, and Zhongyun Hua*. Harnessing Sparsification in Federated Learning: A Secure, Efficient, and Differentially Private Realization. In Proceedings of the 2025 ACM SIGSAC Conference on Computer and Communications Security (CCS).
哈尔滨工业大学（深圳）花忠云教授团队长期从事密码学、人工智安全、多媒体安全等领域研究，近年来在ACM CCS，USENIX Security, ICML, CVPR, IEEE TIFS, IEEE TDSC, IEEE TC, IEEE TPDS等国际顶会议和期刊发表论文100余篇，入选2024年“全球0.05%顶尖科学家”，连续入选2022年，2023年及2024年科睿唯安“高被引科学家”。（审核 花忠云）
