Yapay zeka kullanan işletmelerin er ya da geç karşılaştığı bir an var: sistem kendinden emin bir dille cevap verir ve o cevap yanlıştır.
Bu, sistemin bozulduğu anlamına gelmez. Dil modelleri olasılık üzerine çalışır; ellerindeki bilgi yetmediğinde susmak yerine en makul görünen cümleyi kurabilirler. Asıl mesele cevabın yanlış olması değil, yanlış cevabın doğru cevapla aynı tonda gelmesi.
Bu yazı, yanlış cevabın neden çıktığını, hangi durumda önemli olduğunu ve kurulum sırasında kontrolün nereye konacağını anlatıyor.
🔍 Şunu unutmayın: Yapay zekayı işletmeye almak, hatayı yok saymakla değil, hatanın nereye düşeceğini baştan belirlemekle ilgilidir. Cevabın müşteriye mi, bir çalışanın ekranına mı, yoksa bir onay kutusuna mı gideceğine kurulum sırasında karar verilir.
Yapay zeka neden yanlış cevap verir?
Yanlış cevabın tek bir sebebi yoktur. Kurulumlarda en sık görülen dört tanesi şunlardır.
Elindeki bilgi eksik veya eski
Model, kendisine verilen kaynaktan okur. Fiyat listesi güncellenmemişse, katalogda kaldırılmış bir kalem duruyorsa ya da kural değişikliği yalnız birinin kafasındaysa, cevap o eski bilgiye göre kurulur. Burada kusurlu olan model değil, kaynaktır.
Soru belirsiz
"Bu siparişte ne yapmalıyım?" gibi bir soru, bağlam verilmeden sorulduğunda birden çok doğru cevaba açıktır. Model bir tanesini seçer ve seçtiğini gerekçelendirir. İnsan bir meslektaş olsa geri soru sorardı; sistem ise varsayımla ilerleyebilir.
Boşluğu doldurma
Kaynakta cevap yoksa model, benzer metinlerden öğrendiği kalıba bakarak bir cevap üretebilir. Bu davranış çoğu zaman halüsinasyon diye anılır. Ortaya çıkan cümle dil bakımından kusursuz, içerik bakımından uydurmadır. Kendini ele vermeyen hata türü budur.
Kaynak doğru, bağlam yanlış
Bilgi doğrudur ama başka bir duruma aittir. Belli bir müşteri grubuna özel bir koşul, sistemde ayrım tanımlanmadığı için herkese söylenir. Bu tür hatalar tek tek bakıldığında doğru göründüğü için geç fark edilebilir.
Her yanlış aynı ağırlıkta değil
Bütün hataları aynı ciddiyetle ele almak kurulumu ağırlaştırır ve o ağırlığı kimse taşıyamaz. Ayrım, hatanın nereye dokunduğuna göre yapılır.
- İçeride kalan hata: yanlış cevabı bir çalışan görür, düzeltir, iş devam eder. Maliyeti düşüktür.
- Müşteriye giden hata: yanlış bilgi dışarı çıkar. Artık teknik bir konu değil, güven konusudur.
- Para veya hukuk doğuran hata: fiyat, indirim, sözleşme koşulu, kişisel veri. Bu grupta cevabın doğrudan dışarı çıkmaması tercih edilir.
Bu ayrım yapılmadan kurulan sistemlerde iki uçtan biri görülür: ya her cevap onaya takılır ve sistem yavaşlar, ya da onay kapısı kurulmaz ve ilk ciddi hata dışarıda yaşanır.
İnsan onayı nereye konur?
Onay, sistemin her adımına değil, hatanın pahalıya mal olabileceği yere konur. Uygulamada üç yerleşim işe yarayabilir.
Onay kapısı
Belirlenen türdeki cevaplar gönderilmeden önce bir kişinin ekranına düşer. O kişi onaylar, düzeltir veya reddeder. Kapı yalnız seçilen akışlarda çalışır, geri kalanı beklemeden ilerler.
Emin olmadığında durmak
Sistem, kaynakta karşılığını bulamadığı bir soruyu cevaplamak yerine devretmeye ayarlanabilir. "Bunu ilgili arkadaşa iletiyorum" cümlesi, uydurulmuş bir cevaptan iyidir. Bu davranış kurulum sırasında yazılır, kendiliğinden oluşmaz.
Yetki sınırı
Sistemin kendi başına neyi yapabileceği yazılı olmalıdır: bilgi verebilir, kayıt açabilir, ama fiyat değiştiremez veya iade onaylayamaz. Sınır yazılmazsa sınır yok demektir.
Cevabı kaynağa bağlamak
Yanlış cevaba karşı en doğrudan yol, modelin serbest bilgisinden değil, işletmenin kendi belgelerinden cevap üretmesidir. Sistem soruyu alır, ilgili belgeyi bulur, cevabı o belgeye dayandırır.
Bunun iki yan faydası olabilir. Birincisi, cevabın yanına kaynağın konabilmesi: hangi belgeye dayandığı görülür ve doğrulaması kolaylaşır. İkincisi, kaynağın işletmede durması. Verinin nerede durduğu ve nereye gittiği ayrı bir konudur; verileriniz nereye gidiyor yazısında ele almıştık.
Kaynağa bağlamak, kaynağın kendisini de bir sorumluluk haline getirir. Belge eskiyse cevap da eskir. Bu yüzden hangi belgenin güncel sayılacağı ve kimin güncelleyeceği baştan belirlenir.
Yanlış bir cevap çıktığında ne yapılır?
Hata bulunduğunda tek tek düzeltmek yetmez, aynı hatanın tekrar çıkmaması için sebebe inilir. Sıra şöyle olabilir:
- Olay kaydıyla birlikte saklanır: soru neydi, hangi kaynağa dayanıldı, kim gördü.
- Sebep ayrılır: kaynak mı eski, soru mu belirsiz, yoksa boşluk mu dolduruldu.
- Kaynak eskiyse belge güncellenir ve güncellemenin sahibi belirlenir.
- Soru belirsizse sistem geri soru soracak biçimde ayarlanır.
- Boşluk dolduruluyorsa o konu onay kapısına ya da devretme yoluna alınır.
Bu akış yazılı olmadığında hatalar tek tek konuşulur ve aynısı birkaç kez döner. Projelerin nerede tıkandığını otomasyon projelerinin başarısızlık nedenleri yazısında ayrıca ele almıştık.
Kayıt tutmak neden önemli?
Sistem ne söylediğini hatırlamıyorsa hatadan ders de çıkarılamaz. Kayıt, sonradan bakıldığında şu sorulara cevap verebilmelidir: soru ne zaman geldi, hangi cevap verildi, cevap hangi belgeye dayandı, onaydan geçti mi, kim onayladı.
Bu kayıt aynı zamanda bir savunma belgesidir. Bir müşteri "sizin sisteminiz şöyle demişti" dediğinde konuşma hafızaya değil kayda dayanır.
Müşteriye ne söylenir?
Karşısındakinin bir sistemle konuştuğunu bilmesi güveni zedelemez; sonradan anlaması zedeler. Açık bir tanıtım cümlesi ve insana geçiş yolu, konuşmanın başında durur.
Bir hata dışarı çıktığında en iyi yol, düzeltmeyi geciktirmeden yapmak ve neyin yanlış gittiğini sade bir dille söylemektir. Müşteri tarafındaki akışların nasıl kurulduğunu müşteri hizmetleri otomasyonu yazısında anlatmıştık.
Kurulumdan önce sorulacak sorular
Bir yapay zeka kurulumu konuşulurken şu sorular baştan sorulursa, sonraki tartışmaların çoğu gereksiz kalabilir.
- Sistem cevabı hangi kaynaktan üretecek?
- Kaynağı kim güncelleyecek, ne sıklıkla bakılacak?
- Hangi cevaplar insana uğramadan dışarı çıkabilir?
- Sistem emin olmadığında ne yapacak?
- Yanlış bir cevap fark edildiğinde kime haber verilecek?
- Konuşma kayıtları nerede duracak, kim görebilecek?
Bu soruların cevabı işletmeden işletmeye değişir. Süreç çıkarmayı uygulamalı çalışmak isterseniz eğitim serimiz bu konuları adım adım ele alıyor.
Nasıl çalışıyoruz
Kurulumda önce cevabın hangi kaynaktan üretileceğini belirliyoruz. Ardından hangi cevapların onaydan geçeceğini ve sistemin emin olmadığında ne yapacağını birlikte yazıyoruz.
Hata olasılığını yok sayan bir kurulum önermiyoruz. Bunun yerine hatanın nereye düşeceğini belirliyor, kaydını tutuyor ve düzeltme yolunu kurulumun içine koyuyoruz.
Sık Sorulan Sorular
Yapay zekanın yanlış cevap verdiğini nasıl fark ederiz?
Tek başına okuyarak fark etmek zordur, çünkü yanlış cevap da doğru cevapla aynı dille yazılır. Pratikte üç yol işe yarar: cevabın dayandığı kaynağın yanında gösterilmesi, riskli konularda insan onayı ve konuşma kayıtlarının belirli aralıklarla örnekleme yöntemiyle okunması. Müşteriden gelen "bu bilgi bende farklı" tepkileri de ayrı bir kanal olarak toplanmalıdır.
Her cevabı bir insanın onaylaması gerekir mi?
Genellikle gerekmez ve her cevabı onaya bağlamak sistemi kullanılamaz hale getirebilir. Ayrım cevabın türüne göre yapılır: bilgi veren, kayıt açan ve yönlendiren cevaplar çoğu işletmede doğrudan gidebilir. Fiyat, indirim, sözleşme koşulu, iade ve kişisel veri içeren cevaplar ise onay kapısına alınabilir. Bu liste kurulum sırasında yazılır ve zamanla gözden geçirilir.
Sistem "bilmiyorum" demeyi öğrenebilir mi?
Bu bir öğrenme meselesinden çok bir ayar meselesidir. Sistem, kaynakta karşılığını bulamadığı soruda cevap üretmek yerine konuyu bir kişiye devredecek biçimde kurulabilir. Devretme cümlesinin ne olacağı, kime gideceği ve müşterinin ne kadar süre içinde geri dönüş bekleyeceği de aynı kurulumda belirlenir. Bu davranış varsayılan değildir, yazılması gerekir.
Yanlış cevaptan doğan zarardan kim sorumlu olur?
Sorumluluk sistemin kendisine değil, onu işleten tarafa bakar; bu yüzden kurulumun sınırları sözleşmede yazılı olmalıdır. Hangi cevapların insan onayından geçeceği, kayıtların ne kadar süre saklanacağı ve bir hata fark edildiğinde nasıl bildirileceği baştan belirlenirse tartışma sonraya kalmaz. Sektörünüz düzenlemeye tabiyse bu maddeler hukuk danışmanınızla birlikte yazılmalıdır.
Kendi belgelerimize bağlı bir sistem yine de yanlış cevap verebilir mi?
Evet, ama hata türü değişir. Kaynağa bağlı bir sistemde uydurma cevap seyrekleşir; bunun yerine yanlış belgeyi seçme veya doğru belgeyi yanlış bağlama taşıma hatası öne çıkar. Bu hatalar daha kolay görülür, çünkü cevabın yanında hangi belgeye dayandığı durur. Kaynağın güncel tutulması da bu yüzden kurulumun sürekli parçasıdır.
Cevabın Nereden Geleceğini Birlikte Belirleyelim
Kurulum önermeden önce kaynağı, onay noktalarını ve sistemin emin olmadığında izleyeceği yolu konuşuyoruz.
💬 WhatsApp'tan Teklif AlSonuç
Yapay zekanın yanlış cevap vermesi bir arıza değil, çalışma biçiminin bir sonucudur. Bu yüzden kurulumun sorusu "hata olur mu" değil, hata olduğunda nereye düşecek olmalıdır.
Cevabı işletmenin kendi kaynağına bağlamak, riskli cevapları onay kapısına almak, sistemin emin olmadığında durmasını yazmak ve konuşmaları kayda geçirmek. Bu dördü kurulduğunda hata ortadan kalkmaz ama görülebilir ve düzeltilebilir hale gelir.
Sorularınız mı var? WhatsApp'tan Teklif Al veya Telegram üzerinden bize ulaşın.