RAG في كلمتين
Retrieval-Augmented Generation: بدل ما تعلّم نموذج على بياناتك (غالي وبطيء)، بتدوّر على المعلومة وقت السؤال وبتدّيها للنموذج كـ context.
المشاكل اللي مش بتظهر في الإنجليزي
- التشكيل ─ "كَتَبَ" و "كتب" ممكن يبقوا embeddings مختلفين
- التطبيع ─ ا/أ/إ/آ ─ كلها متشابهة لكن مختلفة بايتياً
- Chunking ─ النصوص العربية أطول، فالحجم الأمثل بيتغير
Pipeline اللي بستخدمه
- Preprocessing:
arabic-reshaper+ إزالة التشكيل - Embeddings:
cohere/embed-multilingual-v3أوBAAI/bge-m3 - Vector DB: Qdrant (بـ Arabic analyzer)
- Reranking:
cohere/rerank-multilingual - LLM: GPT-4o أو Claude 3.5 Sonnet
قياس الجودة
متستناش الفيدباك من المستخدم. اعمل dataset صغير من 30 سؤال + إجابة "صح" واختبر بـ RAGAS.
الـ RAG الجيد مش اللي بيلاقي المعلومة ─ ده اللي بيلاقي الجواب الصحيح من بين 10 معلومات متشابهة.
