İçeriğe geç

Kitaplar / Yöntem ile Sıfırdan Dil Modeli / Ek A — Kavram sözlüğü

Ek A — Kavram sözlüğü

Terim İngilizcesi Kısa açıklama Bölüm
Dil modeli language model Bir metnin ardından gelecek simgenin olasılık dağılımını hesaplayan model 1
Simge token Modelin işlediği en küçük birim: bir harf, bir hece ya da bir sözcük parçası 2
Simgeleştirme tokenization Metni simgelere, simgeleri sayılara çevirme 2
BPE byte pair encoding En sık yan yana gelen iki simgeyi tekrar tekrar birleştirerek sözlük kurma yöntemi 2
İkili model bigram model Yalnızca bir önceki simgeye bakan dil modeli 3, 4
Kayıp loss Modelin doğru simgeye verdiği olasılığın negatif logaritmasının ortalaması 1, 3
Şaşkınlık perplexity eˣ (x: kayıp); modelin her adımda kaç seçenek arasında kararsız kaldığı 3
Softmaks softmax Ham puanları toplamı 1 olan olasılıklara çeviren fonksiyon 4
Çapraz entropi cross-entropy Sınıflandırma kaybı; softmaksı kendisi uygular 4
Gömme embedding Bir simgeyi temsil eden, öğrenilen sayı vektörü 4, 5
Bağlam penceresi context window Modelin bir tahmin yaparken bakabildiği önceki simge sayısı 5
Aşırı uyum overfitting Modelin eğitim verisini ezberleyip yeni veride kötüleşmesi 5, 8
Öz-dikkat self-attention Her simgenin önceki simgelere ne kadar bakacağına kendisinin karar verdiği işlem 6
Sorgu, anahtar, değer query, key, value Dikkatte “ne arıyorum”, “bende ne var”, “ne aktarırım” vektörleri 6
Nedensel maske causal mask Bir simgenin kendinden sonraki simgeleri görmesini engelleyen maske 6
Konum gömmesi positional embedding Simgenin dizideki sırasını modele bildiren vektör 6
Çok kafalı dikkat multi-head attention Farklı ilişkilere bakan birkaç dikkatin paralel çalışması 7
Artık bağlantı residual connection Bir alt katmanın çıktısını girdisinin üstüne ekleme 7
Katman normalleştirme layer normalization Her vektörü ortalaması 0, varyansı 1 olacak şekilde ölçekleme 7
Bırakma dropout Eğitimde değerlerin bir kısmını rastgele sıfırlayarak ezberlemeyi azaltma 7, 8
Erken durdurma early stopping Doğrulama kaybı en iyiyken ağırlıkları saklama 8
Sıcaklık temperature Örneklemeden önce puanları bölerek dağılımı sivrilten ya da yayan sayı 9
Top-k top-k sampling Yalnızca en olası k simge arasından örnekleme 9
Ön eğitim pretraining Büyük metin yığınında sonraki simgeyi tahmin ederek eğitim 10
İnce ayar fine-tuning Eğitilmiş modeli küçük ve özel bir veriyle eğitmeyi sürdürme 10