【推理优化】FlashAttention：让注意力不再成为瓶颈

标准注意力为什么这么慢在正式介绍 FlashAttention 之前，我们有必要先弄清楚一个看似矛盾的问题：注意力机制的计算量明明不大，为什么在实际部署中却常常成为性能瓶颈？答案藏在一个容易被忽略的事实里——现代 GPU 的算力远超其内存带宽。换句话说，瓶颈不在「计算」，而在「搬运」。计算步骤：看似简单的三步以典型的自注意力（Self-Attention）为例，给定查询矩阵QQQ、键矩阵KK