建站者
前端开发工程师
2026/5/30 14:57:42
15分钟阅读
1,245 次浏览
前端开发 React TypeScript
文章摘要
Linear Attention 学习笔记 0. Linear Attention 的目的与背景 0.1 标准 Attention 的瓶颈 在 Transformer 的标准 Self-Attention 机制中，注意力分数的计算方式如下： Attention(Q,K,V)=softmax(QKTd)V \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqr…
