Tokenizasyon Gezgini
Bir cümle yaz ve basitleştirilmiş oyuncak tokenleştiricinin onu parçalara ayırmasını izle: ekler soyulur, sayılar rakama dönüşür ve tokenların ne kelime ne de karakter olduğu ortaya çıkar.
Basitleştirilmiş BPE tarzı model, tamamen yerel, tarayıcından çıkmaz
Şunu dene
- “okullar” kelimesinin birleştirme adımlarını kaydır ve ekin nasıl sağ kaldığını izle.
- Noktalamalı bir sayı yaz ve rakamların nasıl ayrıldığını gör.
- Tek harflere paramparça olan bir kelime bul.
Burada tokenizasyon nasıl çalışır
Gerçek dil modelleri metni karakter olarak değil, tam sayı token kimlikleri olarak okur. Bu araç, süreci izleyebilmen için yaklaşık 25 el yazımı birleştirmeli basitleştirilmiş bir bayt-çifti (BPE) modeli çalıştırır: metin küçük harfe çevrilir, bölümlere ayrılır ve her kelimenin harfleri adım adım parçalara birleşir.
Sözlük bilerek minicik — bir öğretim modeli, üretim tokenleştiricisi değil. Token kimlikleri GPT ile ya da başka hiçbir gerçek sistemle eşleşmez. Aktarılan asıl fikir şu: token sınırları öğrenilmiş birleştirmeleri izler, bu yüzden ekler, noktalama, boşluklar ve rakamlar farklı davranır.
Parçaların arkasındaki modelleri anla
ManySpace bunun gibi yapay zekâ mekaniklerini rehberli derslere dönüştürür.