Kitaplar / Yöntem ile Sıfırdan Dil Modeli / Ek C — Alıştırma ipuçları

Ek C — Alıştırma ipuçları

• Bölüm 1. Boşluklar dahil karakterleri sayabilirsiniz. Her karakter, kendinden önceki metne bakılarak tahmin edilecek bir hedeftir; cümlenin bittiğini bildiren son simge de bir hedef sayılır.
• Bölüm 2. Birleştirmeler hep en sık yan yana gelen çifti seçtiği için önce Türkçede çok sık geçen ekler ve kısa sözcükler tek simgeye dönüşür. Döngü ilerledikçe sözlük büyür, metnin simge sayısı kısalır.
• Bölüm 3. Sayım sözlüğünün anahtarı iki harften oluşur (a + b); tabloda en fazla sözlük boyunun karesi kadar satır olabilir. Üçlülerin çoğu metinde hiç geçmeyeceği için düzleştirme burada daha da önemlidir.
• Bölüm 4. Sonucu 3. bölümdeki listeyle yan yana yazabilirsiniz. Eğitim yeterince uzun sürdüyse sıralamanın ve olasılıkların büyük ölçüde örtüşmesi gerekir; çünkü iki model aynı şeyi, bir önceki harfe göre sonraki harfin dağılımını öğrenir.
• Bölüm 5. Küçük bir gizli katman daha az şey ezberleyebilir. Doğrulama kaybının eğrisini iki çalıştırmada yan yana koyup hangi adımda yükselmeye başladığını karşılaştırabilirsiniz.
• Bölüm 6. Ölçek büyüdükçe puanların arasındaki farklar da büyür. Softmaks büyük farklarda en büyük puana neredeyse tüm ağırlığı verir. √d’ye bölmek puanları bu yüzden küçültür ve dikkatin birden fazla karaktere yayılabilmesini sağlar.
• Bölüm 7. Artık bağlantılar olmadan gradyan katmanlardan geçerken zayıflar. Kaybın ilk yüz adımdaki düşüş hızını iki durumda karşılaştırabilirsiniz.
• Bölüm 8. Bırakma olmadan eğitim kaybı daha düşük, doğrulama kaybı ise daha erken yükselmeye başlar. Veri büyüdükçe eğitim ve doğrulama kayıpları birbirine yaklaşır.
• Bölüm 9. Top-p’de aday sayısı sabit değildir: model eminse bir iki aday kalır, kararsızsa çok aday kalır. Olasılıkları sıralayıp birikimli toplamı p’yi aşana kadar olanları tutmanız yeterlidir.
• Bölüm 10. İnce ayar verisindeki her satırı ayrı bir dizi olarak verip diziyi . ile bitirebilirsiniz; model böylece cevabın sonunda durmayı da öğrenir. Öğrenme oranı çok büyük olursa model ön eğitimde öğrendiklerini unutur.