RAG Nedir? Şirket Verisiyle Özel Yapay Zeka Modeli Kurma

RAG (Retrieval-Augmented Generation) Nedir?

RAG, büyük dil modellerinin (LLM) genel eğitim verilerinin ötesine geçerek gerçek zamanlı, şirkete özel bilgilerle yanıt üretmesini sağlayan bir mimari yaklaşımdır. Adı üç adımı özetler: Retrieval (ilgili belgeleri bul), Augmented (modelin bağlamını bu belgelerle zenginleştir), Generation (zenginleştirilmiş bağlamla yanıt üret).

Neden önemli? Çünkü ChatGPT veya Claude gibi LLM'ler belirli bir eğitim kesme tarihine kadar olan bilgiyi biliyor; şirketinizin iç dökümanlarını, ürün kataloğunu, destek geçmişini veya güncel yasal metinleri bilmiyor. RAG bu boşluğu kapatır.

RAG'ın Fine-Tuning'e Göre Avantajları

Kriter	RAG	Fine-Tuning
Veri güncellemesi	Anlık — yeni döküman eklenince sistem güncellenir	Yeniden eğitim gerekir (maliyetli)
Başlangıç maliyeti	Düşük — GPU gerektirmez	Yüksek GPU maliyeti
Kaynak gösterimi	Yanıtlar hangi dökümanı kullandığını gösterir	Kaynak takibi yoktur
Halüsinasyon riski	Düşük — yanıt kaynaklara dayalı	Model yine de uydurabilir
Özel ton/format	Sınırlı	Tam kontrol

Sonuç: Şirket bilgi tabanına dayalı chatbot, Q&A sistemi veya döküman asistanı için RAG çoğunlukla doğru tercihtir. Çok özel bir yazım stili veya domain jargonu öğretilecekse fine-tuning devreye alınabilir.

RAG Mimarisi: Adım Adım

1. Döküman Yükleme ve Parçalama (Chunking):

   PDF, Word, HTML, Markdown veya veritabanı kayıtları gibi kaynaklar okunur. Her döküman anlam bütünlüğünü koruyacak şekilde 300–800 tokenlık parçalara bölünür. Parçalama stratejisi sistemin kalitesini doğrudan etkiler: çok küçük parçalar bağlamı kaybeder, çok büyük parçalar retrieval hassasiyetini düşürür.

2. Embedding Üretimi:

   Her metin parçası bir embedding modeliyle sayısal vektöre dönüştürülür. OpenAI'ın text-embedding-3-small veya text-embedding-3-large modelleri, açık kaynak sentence-transformers veya çok dilli modeller kullanılabilir. Türkçe içerik için çok dilli modeller daha iyi performans verebilir.

3. Vektör Veritabanı:

   Üretilen vektörler vektör veritabanına kaydedilir. Popüler seçenekler: pgvector (PostgreSQL eklentisi, ekstra altyapı gerekmez), Pinecone (yönetilen bulut hizmet), Weaviate, Qdrant, Chroma (yerel geliştirme için ideal).

4. Retrieval (Benzer Belge Arama):

   Kullanıcı bir soru sorduğunda soru da vektöre dönüştürülür ve vektör veritabanında en yakın (semantik olarak en benzer) döküman parçaları bulunur. Bu işlem cosine similarity veya dot product üzerinden milisaniyeler içinde tamamlanır.

5. Bağlam Zenginleştirme ve LLM Çağrısı:

   Bulunan döküman parçaları kullanıcının sorusuyla birleştirilerek LLM'e gönderilir. "Şu kaynaklara dayanarak yanıtla" talimatıyla model yalnızca verilen bilgiye bağlı yanıt üretir.

6. Kaynak Gösterimi:

   Yanıtla birlikte hangi dökümanlardan bilgi alındığı kullanıcıya gösterilebilir. Bu şeffaflık güveni artırır ve hatalı yanıtların doğrulanmasını kolaylaştırır.

Retrieval Kalitesini Artırma Teknikleri

• Hybrid search: Vektör benzerliği (semantic) + keyword search (BM25) birleştirilerek hem anlam hem kelime eşleşmesi yakalanır.
• Re-ranking: İlk retrieval sonuçları bir cross-encoder modelle yeniden sıralanır; en alakalı parçalar öne alınır.
• Metadata filtreleme: Döküman tarih, kategori, departman gibi metadatasına göre retrieval alanı daraltılır.
• Query expansion: LLM, kullanıcı sorusunu daha iyi retrieval için yeniden ifade eder.
• Chunk overlap: Parçalar arasında bağlam sürekliliği için örtüşme eklenir.

RAG'ın Uygun Olmadığı Durumlar

• Modelin öğrenmesi gereken çok spesifik bir yazım tonu veya domain jargonu varsa → Fine-tuning.
• Kaynak döküman olmadan genel muhakeme görevi yapılacaksa → Doğrudan API.
• Veri boyutu çok küçükse (10–20 sayfa) → Tüm içerik sistem promptuna girilebilir, RAG gerekmeyebilir.

Nexsol RAG Projelerinde Kullandığı Stack

Nexsol Teknoloji olarak RAG projelerinde şu teknolojiyi kullanıyoruz: LangChain veya LlamaIndex (orkestrasyon), pgvector veya Qdrant (vektör veritabanı), OpenAI veya Anthropic API (LLM), Python / .NET backend. Projenin veri gizliliği gerektirmesi durumunda Ollama ile yerel LLM (Llama 3, Mistral) ve tamamen şirket içi RAG stack'i kurabiliyoruz. LLM danışmanlığımız ve yapay zeka çözümlerimiz hakkında daha fazla bilgi alın.