Halüsinasyon ve Robustness

tanım: yanlışlık değil, temelsizlik

Halüsinasyonu "modelin yanlış cevap vermesi" diye tanımlamak eksiktir. Daha keskin tanım: modelin, dayanağı olmayan içeriği, dayanağı varmış gibi üretmesi. İki bileşen kritik: temelsizlik (içerik ne eğitim verisinde ne verilen bağlamda desteklenir) ve epistemik maskeleme (çıktı, güvenli bilgiyle aynı üslup ve akıcılıkta gelir — model tereddüt sinyali vermez).

İkinci bileşen, riskin asıl kaynağıdır. İnsan uzman yanılabilir ama genellikle tereddüdünü belli eder: "emin değilim ama sanırım…" Model bu sinyali vermez, çünkü eğitimi ona kararlı üslubu öğretmiştir (Modül 04'teki RLHF yan etkisi). Sonuç: kullanıcının hata tespit mekanizması devre dışıdır. Yanlış bilginin maliyeti, yanlışlığından çok yakalanamazlığından gelir.

neden uydurur: mimarinin dürüst itirafı

LLM bir bilgi bankası değil, olasılık makinesidir: her adımda "bir sonraki token ne olmalı?" dağılımından örnekler. Model "bilmiyorum" kavramına mimari düzeyde sahip değildir — her koşulda bir dağılım üretir ve o dağılımdan bir şey seçer. Aşağıda iki soru tipi için basitleştirilmiş dağılımları karşılaştır:

Fark budur: bildiği konuda dağılım tek noktada yoğunlaşır; bilmediği konuda düzleşir ama kaybolmaz. Model yine örnekler, yine akıcı cümle kurar — sadece artık hangi seçeneğin geleceği neredeyse rastgeledir. Uydurma, dağılımın düz olduğu yerde örneklemeye devam etmenin doğal sonucudur. Bu yüzden halüsinasyon giderilecek bir bug değil, yönetilecek bir mimari özelliktir: azaltılır (RAG, prompt, kalibrasyon), sıfırlanmaz.

halüsinasyon tipleri: her satıra tıkla

"Halüsinasyon" tek bir şey değildir; tipine göre hem riski hem tespit yöntemi değişir. Banka bağlamındaki beş ana tip:

uydurmayı bul: groundedness değerlendirmesi

Şimdi bir groundedness değerlendiricisinin işini yap. Aşağıda kaynak doküman (bankanın ürün koşulları) ve RAG'li asistanın ürettiği cevaptan alınmış altı iddia var. Her iddia için karar ver: kaynakla destekleniyor mu, yoksa temelsiz mi?

Bu egzersizin ölçekli hali, LLM validasyonunun temel tekniklerinden biridir: cevabı atomik iddialara böl, her iddiayı kaynakla eşleştir, desteklenmeyen iddia oranını ölç. Elle yapılan bu iş, üretimde otomatikleştirilir (NLI modelleri veya LLM-as-judge ile) — ama otomasyonun kendisi de validasyon gerektirir; bu döngüyü Modül 14'te açacağız.

robustness: aynı soru, farklı kılıklar

Robustness, sistemin anlamı değişmeyen girdi varyasyonlarına karşı davranışını koruyabilmesidir. Kullanıcılar aynı soruyu bin türlü sorar: kısaltmayla, yazım hatasıyla, yarı İngilizce, imalı… Kırılgan sistem her kılığa farklı cevap verir. İki sistemi karşılaştır:

Robustness testi ucuz ve etkilidir: golden set'teki her soruya 3–5 parafraz üret (bunu da LLM yapabilir), cevapların anlamsal tutarlılığını ölç. Tutarsızlık iki şeyden birini gösterir: ya retrieval parafraza duyarlı (embedding sorunu) ya model kararsız (dağılım düz — yani aslında bilmiyor). İkisi de bulgudur. Ayrıca tutarsızlık, halüsinasyonun pratik bir dedektörüdür: model bildiği şeyde tutarlı, uydurduğu şeyde tutarsızdır — aynı soruyu beş kez sorup cevapların çelişmesine bakmak (self-consistency) üretimde bile kullanılan bir tekniktir.

Doğruluk ve kaynağa bağlılık

Bir yanıtın belgelerle desteklenmesi, belgelerin doğru veya güncel olduğunu garanti etmez. Kaynağa bağlılık, doğruluk ve soruya yeterli cevap verme ayrı ölçülür.

Sağlamlık testleri anlamı koruyan değişiklikleri ve gerçekten farklı görevleri ayırır. Kritik yanlışlar, genel başarı oranının içinde görünmez bırakılmaz.

anahtar çıkarımlar