Bias ve Fairness: Kredi Skoru Örneğiyle

bias nereden gelir: beş kaynak

Önyargı; tarihsel veriden, yetersiz temsilden, ölçüm ve etiketleme süreçlerinden, vekil değişkenlerden veya geri beslemeden kaynaklanabilir. Model ve karar eşiği tasarımı da sonuçları etkiler. Kaynakları ayırmak, uygun test ve düzeltme yöntemini seçmeyi kolaylaştırır.

fairness'ın üç tanımı: üçü de makul, üçü de farklı

"Adil model" ne demek? Literatürde onlarca tanım var; pratik çekirdek üç tanesidir. Her biri farklı bir adalet sezgisini formülleştirir — ve birazdan göreceğin gibi, birbirleriyle matematiksel olarak çelişirler:

Ortak karar eşiği: üç ölçütü karşılaştırmak

İki kurgusal grubun temerrüt eden ve etmeyen başvuruları için normal skor dağılımları tanımlanmıştır. Yüksek skor onay yönündedir; temel temerrüt oranları A için %8, B için %14’tür. Skorların kalibre olduğu varsayılmamaktadır. Ortak eşik değiştiğinde üç grup farkı birlikte izlenebilir.

Bu dağılımlarda ortak eşiğin değiştirilmesi farklı ölçütleri farklı yönlerde etkiler. Panel belirli bir örneği gösterir; tüm olası modeller için bir imkânsızlık ispatı değildir. Grup bazlı karar kurallarının uygulanabilirliği ayrıca değerlendirilir.

Ölçütler neden aynı sonucu vermeyebilir?

Equal opportunity yalnız doğru pozitif oranının eşitliğini ister. Equalized odds hem doğru hem yanlış pozitif oranlarını kapsar. Predictive parity ve skor kalibrasyonu da birbirinin yerine kullanılmaz.

Farklı temel oranlar altında bazı adalet tanımları, mükemmel tahmin gibi özel durumlar dışında çatışabilir. İmkânsızlık sonuçları belirli varsayımlara dayanır; “her durumda tüm ölçütler çatışır” sonucu çıkarılamaz. Ölçüt ve tolerans seçimi kullanım bağlamıyla gerekçelendirilir.

Hardt, Price ve Srebro: Equality of Opportunity · Kleinberg, Mullainathan ve Raghavan: risk skorlarında ödünleşimler

sahada: kredi, işe alım, sigorta ve llm

Kredi değerlendirmesi: AI Act Annex III 5(b), gerçek kişilerin kredi değerliliğini veya kredi skorunu değerlendiren sistemleri ele alır; finansal dolandırıcılık tespiti istisnası ve Art. 6 koşulları ayrıca okunur. Türkiye’de değerlendirme, uygulanabilir eşitlik ve kişisel veri hükümleriyle birlikte ele alınır. Testler; grup bazlı sonuçlar, etiketlerin oluşumu, vekil değişkenler ve karar eşiğinin etkisini kapsayabilir.

İşe alım (CV eleme): Klasik vaka: geçmişte işe alınanların CV'leriyle eğitilen model, geçmiş işe alım pratiğindeki cinsiyet dengesizliğini öğrenir; "kadın satranç kulübü" gibi ifadeleri negatif sinyal haline getirebilir. Amazon'un 2018'de bu yüzden iptal ettiği işe alım aracı, alanın ders kitabı örneğidir. EU AI Act'te istihdam da high-risk sınıfındadır.

Sigorta: Fiyatlamada gruplara göre farklılaşma sektörün doğası — ama hangi değişkenle farklılaşmanın meşru olduğu (aktüeryal gerekçe) ile hangisinin vekil ayrımcılık olduğu ince bir çizgidir. AB'de cinsiyetin sigorta fiyatlamasında kullanımı 2012'den beri yasak (Test-Achats kararı); aynı bilgiyi taşıyan vekiller ise modele sızabilir — tam bir proxy discrimination laboratuvarı.

LLM'lerde bias: Üretken modellerde bias skor farkı olarak değil, davranış farkı olarak görünür: aynı CV'ye farklı isimle farklı ton, mesleklere cinsiyet ataması, aksanlı yazıma daha kısa cevap. Test yöntemi de değişir: counterfactual test — aynı girdinin yalnızca grup sinyali değişmiş versiyonlarını (isim, cinsiyet, semt) karşılaştır, çıktı farkını ölç. Golden set'e bu çiftler bilinçli eklenmelidir.

Adalet ölçütünün seçimi

Onay oranı, doğru pozitif oranı ve onaylananların sonuçları farklı adalet sorularını temsil eder. Ölçüt seçimi kullanımın zarar yapısı, veri kalitesi ve geçerli hukukla birlikte gerekçelendirilir.

Grup farkı tek başına nedensellik veya hukuka aykırılık tespiti değildir. Örneklem belirsizliği, etiketlerin oluşumu ve uygulanabilir düzeltmeler ayrıca incelenir.

anahtar çıkarımlar