RAG (Retrieval-Augmented Generation) Nedir?
RAG, büyük dil modellerinin (LLM) genel eğitim verilerinin ötesine geçerek gerçek zamanlı, şirkete özel bilgilerle yanıt üretmesini sağlayan bir mimari yaklaşımdır. Adı üç adımı özetler: Retrieval (ilgili belgeleri bul), Augmented (modelin bağlamını bu belgelerle zenginleştir), Generation (zenginleştirilmiş bağlamla yanıt üret).
Neden önemli? Çünkü ChatGPT veya Claude gibi LLM'ler belirli bir eğitim kesme tarihine kadar olan bilgiyi biliyor; şirketinizin iç dökümanlarını, ürün kataloğunu, destek geçmişini veya güncel yasal metinleri bilmiyor. RAG bu boşluğu kapatır.
RAG'ın Fine-Tuning'e Göre Avantajları
| Kriter | RAG | Fine-Tuning |
|---|---|---|
| Veri güncellemesi | Anlık — yeni döküman eklenince sistem güncellenir | Yeniden eğitim gerekir (maliyetli) |
| Başlangıç maliyeti | Düşük — GPU gerektirmez | Yüksek GPU maliyeti |
| Kaynak gösterimi | Yanıtlar hangi dökümanı kullandığını gösterir | Kaynak takibi yoktur |
| Halüsinasyon riski | Düşük — yanıt kaynaklara dayalı | Model yine de uydurabilir |
| Özel ton/format | Sınırlı | Tam kontrol |
Sonuç: Şirket bilgi tabanına dayalı chatbot, Q&A sistemi veya döküman asistanı için RAG çoğunlukla doğru tercihtir. Çok özel bir yazım stili veya domain jargonu öğretilecekse fine-tuning devreye alınabilir.
RAG Mimarisi: Adım Adım
-
Döküman Yükleme ve Parçalama (Chunking):
PDF, Word, HTML, Markdown veya veritabanı kayıtları gibi kaynaklar okunur. Her döküman anlam bütünlüğünü koruyacak şekilde 300–800 tokenlık parçalara bölünür. Parçalama stratejisi sistemin kalitesini doğrudan etkiler: çok küçük parçalar bağlamı kaybeder, çok büyük parçalar retrieval hassasiyetini düşürür.
-
Embedding Üretimi:
Her metin parçası bir embedding modeliyle sayısal vektöre dönüştürülür. OpenAI'ın
text-embedding-3-smallveyatext-embedding-3-largemodelleri, açık kaynaksentence-transformersveya çok dilli modeller kullanılabilir. Türkçe içerik için çok dilli modeller daha iyi performans verebilir. -
Vektör Veritabanı:
Üretilen vektörler vektör veritabanına kaydedilir. Popüler seçenekler: pgvector (PostgreSQL eklentisi, ekstra altyapı gerekmez), Pinecone (yönetilen bulut hizmet), Weaviate, Qdrant, Chroma (yerel geliştirme için ideal).
-
Retrieval (Benzer Belge Arama):
Kullanıcı bir soru sorduğunda soru da vektöre dönüştürülür ve vektör veritabanında en yakın (semantik olarak en benzer) döküman parçaları bulunur. Bu işlem cosine similarity veya dot product üzerinden milisaniyeler içinde tamamlanır.
-
Bağlam Zenginleştirme ve LLM Çağrısı:
Bulunan döküman parçaları kullanıcının sorusuyla birleştirilerek LLM'e gönderilir. "Şu kaynaklara dayanarak yanıtla" talimatıyla model yalnızca verilen bilgiye bağlı yanıt üretir.
-
Kaynak Gösterimi:
Yanıtla birlikte hangi dökümanlardan bilgi alındığı kullanıcıya gösterilebilir. Bu şeffaflık güveni artırır ve hatalı yanıtların doğrulanmasını kolaylaştırır.
Retrieval Kalitesini Artırma Teknikleri
- Hybrid search: Vektör benzerliği (semantic) + keyword search (BM25) birleştirilerek hem anlam hem kelime eşleşmesi yakalanır.
- Re-ranking: İlk retrieval sonuçları bir cross-encoder modelle yeniden sıralanır; en alakalı parçalar öne alınır.
- Metadata filtreleme: Döküman tarih, kategori, departman gibi metadatasına göre retrieval alanı daraltılır.
- Query expansion: LLM, kullanıcı sorusunu daha iyi retrieval için yeniden ifade eder.
- Chunk overlap: Parçalar arasında bağlam sürekliliği için örtüşme eklenir.
RAG'ın Uygun Olmadığı Durumlar
- Modelin öğrenmesi gereken çok spesifik bir yazım tonu veya domain jargonu varsa → Fine-tuning.
- Kaynak döküman olmadan genel muhakeme görevi yapılacaksa → Doğrudan API.
- Veri boyutu çok küçükse (10–20 sayfa) → Tüm içerik sistem promptuna girilebilir, RAG gerekmeyebilir.
Nexsol RAG Projelerinde Kullandığı Stack
Nexsol Teknoloji olarak RAG projelerinde şu teknolojiyi kullanıyoruz: LangChain veya LlamaIndex (orkestrasyon), pgvector veya Qdrant (vektör veritabanı), OpenAI veya Anthropic API (LLM), Python / .NET backend. Projenin veri gizliliği gerektirmesi durumunda Ollama ile yerel LLM (Llama 3, Mistral) ve tamamen şirket içi RAG stack'i kurabiliyoruz. LLM danışmanlığımız ve yapay zeka çözümlerimiz hakkında daha fazla bilgi alın.
İlgili ücretsiz araçlar: RAG ve LLM maliyetini planlarken token sayacı, LLM maliyet hesaplama ve AI model karşılaştırma araçlarımızı kullanabilirsiniz.
