融合手物特征的三维手部姿态估计网络

作者：Jia Di, Wang Jianchun, Han Xuefeng, Zhang Fan, Wang Xiao · 发表于：Journal of Image and Graphics · 年份：2026 · DOI：10.11834/jig.250270 · 研究领域：Hand Gesture Recognition Systems、Human Pose and Action Recognition、EEG and Brain-Computer Interfaces

目的手部姿态估计作为人机交互的核心感知技术，在复杂交互场景下，面临多尺度特征融合过程中信道丢失以及手物交互过程中遮挡干扰等挑战，现有方法多依赖单一特征提取策略或静态注意力机制，无法同时兼顾精度与鲁棒性。为此，提出一种融合手物特征的三维手部姿态估计网络（hand object collaborative enhancement network，HOCEN），旨在通过多层次跨模态交互优化，提升遮挡场景下的手部姿态估计性能。方法设计双流特征金字塔，通过双向跨尺度信息聚合捕获局部细节与全局语义依赖，缓解传统特征金字塔的通道信息丢失问题；给出一种基于外部注意力的动态调整模块，对提取后的手部特征进行动态注意力权重分配，抑制噪声干扰；构建双流协同注意力机制，结合手—物几何约束与语义互补特性，增强跨模态特征对齐能力；通过层级特征解码器重构精准的手部姿态参数。结果在Dex-YCB（dexterous-YCB）与HO3D（hand-object 3D）数据集上的实验结果表明，本文方法在遮挡场景下的手部关节定位精度高于当前的主流模型，在Dex-YCB数据集上，手部姿态估计指标MPJPE（mean per joint position error）和PA-MPJPE（procrustes-aligned mean per joint position error）分别达到12.4 mm和5.4 mm，均优于SemGCN（semantic graph convolutional network）、HFL（harmonious feature learning）等先进模型，在HO3D数据集上，手部姿态估计指标Join和Mesh上分别达到9.2 mm和9.1 mm，实现了极低的误差。此外，在Dex-YCB与HO3D数据集上分别进行消融实验，进一步证明各模块在手—物协同估计指标上的独立贡献与协同增益。结论本文提出一种基于动态手物交互特征融合的三维手部姿态估计网络架构，通过跨模态特征协同建模机制有效提升姿态估计精度。实验结果表明，本文方法在复杂交互场景下具有较高的鲁棒性与泛化能力，提出的动态特征校准与手物协同策略为提升遮挡场景下的手部姿态估计提供了全新的解决方案。