Dikkat Görselleştirici
Dikkat bir spot ışığıdır: her sözcük, diğer sözcüklerden ne kadarını kendine katacağına karar verir.
İpucu: sıcaklığı 0,2'ye indir ve her sorgunun tek bir sözcüğe çökmesini izle.
Şunları dene
- Sorguları gez. Sorgu token düğmeleriyle “the”den “still”a yürü: en güçlü tokenın nasıl el değiştirdiğini izle.
- Sıcaklığı dondur. T'yi 0,2'ye çek: dağılım tek çubuğa çöker, odaklanma 1'e yaklaşır. Sonra 4'e çıkar ve her şeyin nasıl düzleştiğini gör.
- Örüntüyü değiştir. Tekdüze'de sorgu ne seçerse seçsin ağırlıklar eşit kalır — skor yoksa dikkat de yoktur.
Spot ışığı nasıl okunur
Her sorgu sözcüğü bir birim dikkati cümleye dağıtır: kalın kenarlar güçlü çekimi gösterir. Ağırlıklar softmax ile hesaplanır, yani toplamları hep 1'dir — biri büyürse öbürü küçülmek zorundadır.
Sıcaklık bu dağılımın karakterini belirler: düşük sıcaklık kazananı abartır, yüksek sıcaklık herkesi eşitler. Anahtarların altındaki çubuklarla sayılar aynı hikâyeyi anlatır — kenar kalınlığına güvenmek zorunda değilsin.
Dikkat, transformer'ın kalbidir
Bu oyuncak mekanizma, modern dil modellerinin her katmanında çalışan fikrin ta kendisi — ManySpace'te her fikri az önce dokunduğun gibi kurcalarsın.