Geri getirme kalitesi, kaynak zorunluluğu ve ‘bilmiyorum’ davranışı: RAG tabanlı bir asistanın güvenilir olması için pratik tasarım ilkeleri.
Büyük dil modelleri akıcıdır; ancak akıcılık doğruluk demek değildir. Kurumsal ortamda yanlış bir politika yanıtı, uyum riski ya da müşteri kaybı yaratabilir. Retrieval-augmented generation (RAG) mimarisi, modeli kurumun kendi dokümanlarına bağlayarak halüsinasyonu belirgin biçimde azaltır; ancak yalnızca bir vektör veritabanı eklemek yeterli değildir. Ilmek Bilgi’yi geliştirirken şu yedi kararın sonuçları belirleyici oldu.
1. Parçalama stratejisi dokümanın yapısına göre olmalı
Sabit uzunlukta parçalamak başlık, tablo ve madde bağlamını koparır. Başlık hiyerarşisini ve tablo satırlarını koruyan yapı-farkında parçalama, doğru paragrafı bulma oranını anlamlı biçimde artırır.
2. Hibrit arama: anlamsal + anahtar kelime
Yalnızca gömme (embedding) tabanlı arama, madde numarası veya ürün kodu gibi kesin ifadelerde zayıf kalır. Anahtar kelime (BM25) ve anlamsal aramayı birleştirip yeniden sıralama (reranking) uygulamak en güçlü tek iyileştirmedir.
3. Yetkilendirme geri getirme aşamasında yapılmalı
Kullanıcının göremeyeceği doküman, modele hiç verilmemelidir. Yetki filtrelemeyi yanıt üretiminden sonra yapmak güvenlik açığıdır.
4. Kaynak göstermek zorunlu olmalı
Her iddia bir paragrafa bağlanmalıdır. Bağlanamayan cümleler yanıttan çıkarılır. Bu kural, hem güveni hem de hata ayıklamayı kolaylaştırır.
5. ‘Bilmiyorum’ davranışı eğitilmeli
Geri getirilen bağlam ilgisizse model cevap uydurmak yerine bilmediğini söylemeli ve uzmana yönlendirmelidir. Bu davranış, değerlendirme setinde ayrıca ölçülür.
6. Sürekli değerlendirme seti
Gerçek kullanıcı sorularından en az 200 soruluk, doğru yanıtı ve kaynağı bilinen bir test seti oluşturun; her model, ayar ve içerik değişikliğinde otomatik çalıştırın. Doğru yanıt, kaynak doğruluğu ve ret oranını ayrı metrikler olarak izleyin.
7. İçerik yönetişimi
Güncel olmayan politika, en iyi modeli bile yanıltır. Dokümanlara sahip, geçerlilik tarihi ve sürüm bilgisi atayın; eski sürümleri indeksten çıkarın.
Bu yedi karar, ürün içinde varsayılan olarak uygulanır; kendi doküman setinizle 3 haftalık pilotta sonuçları ölçebilirsiniz.
Ölçülebilir hedefler
- Doğru yanıt oranı (insan değerlendirmesiyle): %90 ve üzeri
- Kaynak doğruluğu: yanıtlardaki atıfların %98’i gerçekten ilgili paragrafı göstermeli
- Doğru ret oranı: bilgi tabanında olmayan sorularda ‘bilmiyorum’ deme oranı %85 ve üzeri
- Ortalama yanıt süresi: 3 saniyenin altı
Bu hedefler kullanım senaryosuna göre değişir; önemli olan hedefi pilot öncesi yazmak ve düzenli raporlamaktır. Hukuk ve uyum gibi yüksek riskli alanlarda ek olarak insan onayı katmanı önerilir.