Gradyan İnişi Laboratuvarı
Bir yürüyüşçü, bir kase, bir de önemli düğme. Uçuran adım büyüklüğünü bul — bir de patlatanı.
İpucu: lr = 0,5 dene — tek adımda tam minimuma iner. Sonra 1,1 dene ve patlayışı izle.
Şunu dene
- Sürün, sonra uç. x₀ = 0'dan lr = 0,1 ile yürü ve eve varışın kaç adım sürdüğünü say. Şimdi lr = 0,9 ile baştan başla. Aynı dip, çok daha az adım — adım büyüklüğü yol süresidir.
- Sihirli adımı bul. Herhangi bir başlangıçtan lr = 0,5 dene: tek adım, tam minimum. Sonra 0,6'ya kaydır ve aşıp-dönmeyi izle. Her zaman bir “tam karar” vardır — ve asla en büyük kararlı adım değildir.
- Bilerek patlat. lr = 1,1 yap ve “100 Adım”a bas. Noktalar kaseden kaçar ve IRAKSADI bandı kırmızısını hak eder. “Patladı” diye duyduğun her eğitim koşusu tam da bu ölümle öldü.
Bir iniş nasıl okunur
Gradyan inişi, eğitilen neredeyse her modelin içindeki motordur: hata eğrisinde bir noktada dur, eğimi ölç ve onunla orantılı olarak yokuş aşağı adım at. Kural tek satırdır — x ← x − lr·f'(x) — ve öğrenme oranı lr oyunun tamamıdır. Küçük lr güvenle parmak ucunda yürür ama sürünür; büyük lr sıçrar ama dibi aşma riski taşır.
Bu kasede (f(x) = (x−3)² + 2) matematik kesindir: lr 1'in altındaysa her zaman yakınsar, lr = 0,5 tek adımda minimuma iner ve lr 1'in üstündeyse ıraksar — her adım dibi tertemiz aşıp daha kötü bir noktaya iner, sonsuza dek. Gerçek modeller milyon boyutlu kaselerde yaşar ama adım büyüklüğü pazarlığı aynıdır: makine öğrenmesinin en önemli düğmesi, bir dakikadan kısa sürede hissedilir.
Optimizasyon, elle ayarlayınca yerine oturur
Bu oyun alanı, ManySpace'in makine öğrenmesini öğretme yolunun küçük bir parçası — her fikir, çalıştırıp bozup hayata döndürebileceğin bir şey olarak.