11 docs tagged with "attention"

Convolutional Block Attention Module (CBAM) 是一种即插即用的、结合了空间（spatial）和通道（channel）的注意力机制模块。相比于SENet只关注通道（channel）的注意力机制可以取得更好的效果。

提出十字交叉注意力模块，使用循环稀疏连接代替密集连接，实现性能SOTA

引入动态卷积，即根据多个卷积核对每个输入的关注程度，动态地对它们进行聚合。与静态算法(每层只有一个卷积核)相比，该算法显著提高了网络的表示能力，但增加了大量的计算开销，对高效的网络神经网络更加友好。并且可以很容易地集成到现有的CNN架构中

新注意力机制：ECANet主要对SENet模块进行了一些改进，提出了一种不降维的局部跨信道交互策略（ECA模块）和自适应选择一维卷积核大小的方法，从而实现了性能上的提优。

从频域角度切入，弥补了现有通道注意力方法中特征信息不足的缺点，通过引入更多的频率分量来充分的利用信息。

GCT门控通道注意力，通过全局上下文嵌入、通道归一化、自适应门控来显式地建模通道之间的关系，促进其竞争或者合作。

中山大学在注意力机制方面的尝试，从神经科学理论出发，构建了一种能量函数挖掘神经元重要性，并对此推导出了解析解以加速计算。通过ImageNet分类、COCO检测与分割等任务验证了所提SimAM的灵活性与有效性。值得一提的是，所提SimAM是一种无参数注意力模块。

抛弃循环结构，完全基于注意力的模块——Attention is all you need.

重大里程碑！VOLO屠榜CV任务，无需额外数据，首次在ImageNet 上达到87.1%。

基于双重注意力机制,本文针对Pixel-wise regression的任务,提出了一种更加精细的双重注意力机制——极化自注意力。

新注意力机制：External-Attention！基于两个外部的、小的、可学习的和共享的存储器，只用两个级联的线性层和归一化层就可以取代了现有架构中的“Self-attention”，揭示了线性层和注意力机制之间的关系！在分类、分割、点云任务中性能提升！