标签: RoPE

所有包含此标签的文章 "RoPE".

• 自注意力机制（Self-Attention）深度解构：从2017到2026的十年演进

  2019年7月12日

  自注意力机制是Transformer及现代大模型的灵魂。它让序列模型摆脱递归束缚，实现全局并行计算与任意距离依赖建模。尽管2024–2026年涌现了大量Softmax-free与线性复杂度替代方案，自注意力（尤其是其高效实现）仍是2026年绝大多数生产级语言、视觉、多模态模型的事实核心。本文从数学原理、工程优化到当前前沿趋势，系统拆解自注意力机制。