Yapay ZekâÖnerilenAIML-ATT-009
Efficient Attention
Attention's quadratic cost and the fixes: IO-aware kernels, sparse and sliding windows, and linear approximations.
Bu konunun henüz Türkçe çevirisi yok, bu yüzden İngilizce gösteriliyor.
- Zorluk
- 4 / 5
- Önem
- 4 / 5
- Çalışma süresi
- 1–2 sa
- Çalışma türü
- Karma
Neden önemli
The learner can compute how attention memory grows with context length and explain what IO-aware tiling changes and what it leaves unchanged.