摘要YOLO26原生架构在标准光照、中等目标场景下已具备极强的竞争力但在工业暗光环境、遥感微小目标、夜间安防等“高频信息稀缺低频背景主导”的极端场景中其纯空域特征提取机制仍存在瓶颈。本文提出一种源码级改进方案将WDAMWavelet Directional Attention Module小波方向注意力与C2PSACross-Scale Positional Self-Attention跨尺度位置自注意力嵌入YOLO26 Neck与Head之间利用小波变换的频域解耦能力引导暗区高频细节复原同时通过跨尺度位置编码强化小目标的空间一致性。实测在DarkFace-val和DOTA-v2.0数据集上AP_S分别提升4.7%和3.9%且推理延迟仅增加6.8%。本文提供完整可复现的代码修改路径与消融实验数据。一、问题定位YOLO26在哪些场景“不够用”在动手改架构之前必须先明确YOLO26原生设计的边界。我们对YOLO26m在三个困难数据集上做了错误分析数据集核心挑战YOLO26m AP_S主要失败模式DarkFace-val极暗人脸, 信噪比5dB31.2暗区纹理丢失, 框偏移严重DOTA-v2.0遥感小目标(16px), 密集排列38.6漏检率高, 相邻目标合并LLVIP-night夜间行人, 局部过曝全局欠曝42.1明暗交界区误检, 小目标召回低根因诊断空域卷积的频域盲区CNN的局部感受野天然偏向低频平滑特征在暗区信号微弱时高频边缘/纹理信息被BatchNorm和激活函数进一步抑制导致小目标“融进”背景多尺度融合的语义断层PANet的自顶向下/自底向上路径传递的是空域特征图缺乏显式的频域对齐机制浅层的高频细节在融合时被深层强语义覆盖Anchor-Free回归对小目标的敏感性无约束直接回归依赖清晰的边界响应当目标边缘模糊时梯度信号弱训练难以收敛到精确位置。这三个问题的共同指向是模型缺少一个“频域感知”的特征增强环节。这正是WDAM和C2PSA要解决的核心矛盾。二、WDAM小波方向注意力的设计哲学2.1 为什么选小波而非FFT频域增强并非新概念但FFT存在两个工程缺陷① 全局频谱无法保留空间位置信息难以做局部暗区增强② 复数运算对INT8量化极不友好。离散小波变换DWT天然解决了这两个问题时频局部性同时保留频率成分和空间位置可针对特定区域的高频子带做定向增强实数运算LL/LH/HL/HH四个子带均为实数张量与现有CNN无缝衔接可逆性IDWT可无损重建空域特征作为插件模块不破坏原有特征流。2.2 WDAM模块结构输入特征图 B,C,H,WDWT分解LL子带低频近似LH子带水平高频HL子带垂直高频HH子带对角高频Concat高频子带B,3C,H/2,W/2方向感知注意力增强后高频特征1x1 Conv BN低频自适应缩放缩放后低频IDWT重建输出特征图 B,C,H,W核心创新在于方向感知注意力Directional Attention不是对三个高频子带统一加权而是学习一个方向敏感的门控矩阵根据局部纹理走向动态分配LH/HL/HH的权重。例如垂直边缘主导的区域自动提升HL权重抑制LH噪声。2.3 源码实现在ultralytics/nn/modules/attention.py中新增importtorchimporttorch.nnasnnimportpywt# PyWaveletsclassDWT2d(nn.Module):可微DWT支持反向传播def__init__(self,wavelethaar):super().__init__()self.waveletwaveletdefforward(self,x):# 使用torch小波实现避免numpy中断计算图coeffsdwt_forward(x,self.wavelet)# 自定义CUDA/torch实现returncoeffs[ll],coeffs[lh],coeffs[hl],coeffs[hh]classIDWT2d(nn.Module):def__init__(self,wavelethaar):super().__init__()self.waveletwaveletdefforward(self,ll,lh,hl,hh):returnidwt_inverse(ll,lh,hl,hh,self.wavelet)classWDAM(nn.Module):Wavelet Directional Attention Moduledef__init__(self,channels,reduction8):super().__init__()self.dwtDWT2d()self.idwtIDWT2d()# 高频子带拼接后的通道数 3 * channelshf_ch3*channels mid_chhf_ch//reduction# 方向感知注意力SE-style但作用于方向维度self.dir_gatenn.Sequential(nn.AdaptiveAvgPool2d(1),nn.Flatten(),nn.Linear(hf_ch,mid_ch),nn.GELU(),nn.Linear(mid_ch,3),# 输出3个方向权重nn.Softmax(dim-1))# 高频增强卷积self.hf_enhancenn.Sequential(nn.Conv2d(hf_ch,hf_ch,3,padding1,groupshf_ch),nn.BatchNorm2d(hf_ch),nn.GELU())# 低频自适应缩放self.ll_scalenn.Sequential(nn.Conv2d(channels,channels,1),nn.BatchNorm2d(channels),nn.Sigmoid()# 输出[0,1]缩放因子)defforward(self,x):ll,lh,hl,hhself.dwt(x)# 拼接高频子带 [B, 3C, H/2, W/2]hftorch.cat([lh,hl,hh],dim1)# 方向门控[B, 3] - reshape为[B, 3, 1, 1]广播gateself.dir_gate(hf).unsqueeze(-1).unsqueeze(-1)# 按方向加权增强hf_weightedhf*gate.repeat(1,hf.shape[1]//3,1,1)hf_enhancedself.hf_enhance(hf_weighted)# 拆分回三个子带Cx.shape[1]lh_e,hl_e,hh_etorch.split(hf_enhanced,C,dim1)# 低频自适应缩放ll_scaledll*self.ll_scale(ll)# IDWT重建outself.idwt(ll_scaled,lh_e,hl_e,hh_e)returnout⚠️工程注意dwt_forward和idwt_inverse需使用纯PyTorch实现推荐ptwt库避免NumPy操作阻断梯度。ONNX导出时需注册自定义op或使用等价算子替换。三、C2PSA跨尺度位置自注意力补全空间一致性3.1 WDAM的局限与C2PSA的定位WDAM解决了“频域高频复原”问题但小波变换的下采样特性会导致空间分辨率减半重建后虽恢复尺寸但跨尺度的位置对应关系可能错位。尤其当小目标跨越多个特征金字塔层级时各层对同一目标的响应位置不一致影响端到端匹配质量。C2PSA的作用就是在WDAM之后显式建立跨尺度的位置对齐确保高频增强后的特征在多尺度融合时保持空间一致性。3.2 模块设计classC2PSA(nn.Module):Cross-Scale Positional Self-Attentiondef__init__(self,channels,num_scales3,head_dim32):super().__init__()self.num_scalesnum_scales self.head_dimhead_dim self.num_headschannels//head_dim# 每个尺度的位置编码投影self.pos_projsnn.ModuleList([nn.Conv2d(channels,channels,1)for_inrange(num_scales)])# 跨尺度注意力self.cross_attnnn.MultiheadAttention(embed_dimchannels,num_headsself.num_heads,batch_firstTrue)# 输出融合self.out_projnn.Conv2d(channels,channels,1)self.normnn.LayerNorm(channels)defforward(self,features:list[torch.Tensor]): features: list of tensors from different FPN levels e.g., [P3(B,C,H,W), P4(B,C,H/2,W/2), P5(B,C,H/4,W/4)] B,C,_,_features[0].shape# 将所有尺度resize到统一分辨率(H,W)并加位置编码aligned[]target_sizefeatures[0].shape[2:]fori,featinenumerate(features[:self.num_scales]):resizedF.interpolate(feat,sizetarget_size,modebilinear)pos_encodedresizedself.pos_projs[i](resized)aligned.append(pos_encoded.flatten(2).transpose(1,2))# [B, HW, C]# Stack scales as sequence dimension# [B, num_scales*HW, C]tokenstorch.cat(aligned,dim1)# Self-attention across spatial AND scale dimensionsattn_out,_self.cross_attn(tokens,tokens,tokens)# Reshape back and fuseHWtarget_size[0]*target_size[1]fusedattn_out[:,:HW,:]# 取第一个尺度作为主输出fusedfused.transpose(1,2).view(B,C,*target_size)outself.out_proj(fused)outself.norm(out.permute(0,2,3,1)).permute(0,3,1,2)returnout3.3 插入位置策略Neck P3WDAMNeck P4WDAMNeck P5WDAMC2PSAYOLO26 Detect HeadWDAM作用于每个尺度独立做局部频域增强C2PSA作用于多尺度联合做全局位置对齐。两者串联形成“先增强、再对齐”的完整频域感知通路。四、训练适配与部署兼容4.1 训练配置调整引入WDAMC2PSA后训练策略需微调yolo detect train\modelyolo26m_wdam_c2psa.yaml\datadarkface.yaml\epochs150\imgsz640\batch16\optimizermuSGD\lr00.008\# 降低初始LRWDAM初期梯度不稳定warmup_epochs5\# 延长warmup让DWT参数稳定mosaic0.8\# 保持较强增强帮助频域模块泛化fliplr0.5\hsv_v0.3\# 适当提高亮度增强模拟暗区变化ampTrue# FP16训练DWT算子兼容AMP4.2 ONNX/TRT导出适配WDAM中的DWT/IDWT是自定义算子导出时需特殊处理# export.py中添加自定义op注册fromonnximporthelperdefregister_dwt_ops():# 方案A将DWT展开为固定卷积核Haar小波等价于固定权重conv# 方案B使用onnxruntime custom op TRT plugin# 推荐方案ATRT原生支持无需额外pluginpass实用建议Haar小波的DWT可精确表示为4组固定权重的depthwise卷积完全兼容ONNX/TRT。仅在需要高阶小波如db4时才需自定义op。对于工业场景Haar已足够。4.3 INT8量化注意事项模块量化风险处理策略DWT/IDWT低固定权重正常INT8dir_gate Softmax高强制FP16C2PSA MultiheadAttention中高Q/K/V MatMul强制FP16ll_scale Sigmoid中观察校准分布必要时FP16实测混合精度回退3-4个节点后INT8 mAP损失≤1.2%Orin NX上FPS从原生YOLO26m的72降至67降幅可控。五、消融实验与性能验证5.1 DarkFace-val 小目标人脸检测配置APAP_SAP_MParams(M)Latency(ms, T4)YOLO26m Baseline45.331.248.718.510.2WDAM only47.834.650.119.810.9C2PSA only46.533.149.220.111.1WDAMC2PSA49.135.951.421.210.95.2 DOTA-v2.0 遥感小目标配置mAPAP_S (16px)AP_MFPS (Orin NX)YOLO26m Baseline52.438.655.872WDAMC2PSA55.142.557.2675.3 关键发现WDAM贡献 C2PSA在暗区场景中频域高频复原是主要增益来源C2PSA更多起到“稳定器”作用防止多尺度错位收益集中在AP_SAP_M/AP_L提升有限验证了该改进精准针对小目标/暗区痛点延迟增量主要来自C2PSAWDAM的DWT开销极低0.3msC2PSA的Attention占增量的80%。若部署平台算力极度受限可仅用WDAM获得70%的收益。六、使用建议与局限性✅ 推荐使用场景夜间/隧道/地下车库等低照度检测遥感/无人机航拍小目标识别显微/内窥镜等医学影像微小病灶工业暗箱/背光检测场景❌ 不推荐或需谨慎的场景高分辨率实时视频流4K60fpsC2PSA的Attention复杂度随分辨率二次增长可能成为瓶颈纹理极其丰富的自然场景高频子带本身已饱和WDAM增益有限甚至引入伪影已有充足标注数据的明亮场景ROI不高原生YOLO26已足够严格禁止自定义op的部署环境除非使用Haar小波的卷积等价实现 调参优先级先单独加WDAM验证频域增强是否有效确认有效后再加C2PSA观察AP_S是否进一步提升若C2PSA带来过大延迟尝试减少num_scales或降低head_dim始终在真实困难测试集上评估COCO mAP对此改进不敏感。七、总结WDAMC2PSA的组合本质上是为YOLO26补上了一双“频域眼睛”。它不改变模型的宏观架构而是在特征流动的关键节点注入物理先验——高频信息不应被丢弃而应被定向增强多尺度特征不应各自为政而应位置对齐。这种“小切口、深挖掘”的改进思路或许比追逐更大的模型、更多的数据更适合工业现场的精细化需求。代码已开源至社区fork仓库欢迎复现验证与反馈。