# Tokenizasyon Gezgini

Canonical: https://manyspace.aporia.systems/tr/tools/tokenization
Updated: 2026-10-13

Bir cümle yaz ve basitleştirilmiş oyuncak tokenleştiricinin onu parçalara ayırmasını izle: ekler soyulur, sayılar rakama dönüşür ve tokenların ne kelime ne de karakter olduğu ortaya çıkar.

## Şunu dene

- “okullar” kelimesinin birleştirme adımlarını kaydır ve ekin nasıl sağ kaldığını izle.
- Noktalamalı bir sayı yaz ve rakamların nasıl ayrıldığını gör.
- Tek harflere paramparça olan bir kelime bul.

## Burada tokenizasyon nasıl çalışır

Gerçek dil modelleri metni karakter olarak değil, tam sayı token kimlikleri olarak okur. Bu araç, süreci izleyebilmen için yaklaşık 25 el yazımı birleştirmeli basitleştirilmiş bir bayt-çifti (BPE) modeli çalıştırır: metin küçük harfe çevrilir, bölümlere ayrılır ve her kelimenin harfleri adım adım parçalara birleşir.

Sözlük bilerek minicik — bir öğretim modeli, üretim tokenleştiricisi değil. Token kimlikleri GPT ile ya da başka hiçbir gerçek sistemle eşleşmez. Aktarılan asıl fikir şu: token sınırları öğrenilmiş birleştirmeleri izler, bu yüzden ekler, noktalama, boşluklar ve rakamlar farklı davranır.

## İlgili araçlar

- [Gradyan İnişi Laboratuvarı](https://manyspace.aporia.systems/tr/tools/gradient-descent)
- [Kayıp Fonksiyonu Gezgini](https://manyspace.aporia.systems/tr/tools/loss-functions)
- [k-Means Görselleştirici](https://manyspace.aporia.systems/tr/tools/k-means)
- [Lojistik Regresyon](https://manyspace.aporia.systems/tr/tools/logistic-regression)
- [İleri Geçiş](https://manyspace.aporia.systems/tr/tools/neural-network)
- [Geri Yayılım](https://manyspace.aporia.systems/tr/tools/backpropagation)
- [Dikkat Görselleştirici](https://manyspace.aporia.systems/tr/tools/attention)