Kitaplar / Yöntem ile Sıfırdan Dil Modeli / Ek B — Sık yapılan hatalar

Ek B — Sık yapılan hatalar

1. Softmaks’ı iki kez uygulamak. ÇaprazEntropi ham puanlar (logit) bekler ve softmaksı kendisi hesaplar. Araya bir Softmaks daha koymak programı bozmaz ama eğitimi sessizce bozar: kayıp yüksek kalır. Softmaks yalnızca örneklerken, olasılıkları görmek istediğinizde kullanılır.
2. Maskeyi unutmak. Nedensel maske olmadan model eğitimde geleceği görür, “sonraki harfi” bakarak kopyalar. Kayıp şaşırtıcı derecede hızlı düşer ama üretilen metin anlamsız olur, çünkü üretirken gelecek yoktur. Kayıp “fazla iyi” görünüyorsa önce maskeyi denetlemekte yarar vardır.
3. Hedefi bir kaydırmayı unutmak. Girdi akış[s .. s+T] ise hedef akış[s+1 .. s+T+1] olmalıdır. Hedefle girdi aynı olursa model yalnızca girdisini kopyalamayı öğrenir.
4. Doğrulama verisi ayırmamak. Yalnızca eğitim kaybına bakarsanız ezberlemeyi öğrenmeden ayırt edemezsiniz. 8. bölümdeki gibi verinin bir kısmını hiç eğitmeden saklamanız gerekir.
5. Öğrenme oranını büyük seçmek. Kayıp düşeceğine zıplıyor ya da çıktı “NaN” oluyorsa öğrenme oranını üçte bire indirebilirsiniz. Transformer’larda 0,001 çevresi güvenli bir başlangıçtır.
6. Bırakmayı üretimde açık bırakmak. Bırakma yalnızca eğitimde uygulanır. Metin üretmeden ya da doğrulama kaybı ölçmeden önce model.eğitimde := yanlış yapmanız gerekir; yoksa her çalıştırmada farklı ve daha kötü sonuç alırsınız.
7. Bağlamdan uzun dizi vermek. Konum gömmesi yalnızca bağlam kadar konum bilir. Üretirken metin uzadıkça modele yalnızca son bağlam karakteri vermeniz gerekir.
8. Yöntem’e özgü: ad çakışmaları. Yöntem büyük/küçük harf ayırmaz; x ile X, w ile W aynı addır. Matristen W, tek bir değerden w diye söz etmek isterseniz “zaten tanımlı” hatası alırsınız. sonuç da fonksiyonlarda dönüş değerinin adı olduğu için değişken adı olarak kullanılmamalıdır.