RAGAS metrikák — hogyan mérd a RAG rendszer minőségét 2026-ban?

Mi az a RAGAS?

A RAGAS (Retrieval Augmented Generation Assessment) egy 2023-ban Es Doğu és munkatársai által publikált, nyílt forráskódú értékelési keretrendszer, amelyet kifejezetten RAG pipeline-ok automatizált mérésére fejlesztettek. A cikk az arXiv-on jelent meg, a kódtár a GitHub-on érhető el, és 2024-re a RAG értékelés de facto iparági standardjává vált — a GitHub repó meghaladta a 7000 csillagot.

A RAGAS előtt a RAG rendszerek értékelése manuális, időigényes és szubjektív folyamat volt: emberi értékelők nézték át a válaszokat, és ad hoc módon döntöttek a minőségről. Ez nem skálázható és nem reprodukálható. A RAGAS két irányból oldotta meg a problémát.

Az LLM-as-a-judge módszer

A hagyományos NLP értékelés referencia-válaszokat igényel: tudni kell, mi a helyes válasz, és ahhoz mérik a generált outputot. A RAGAS bevezette az LLM-as-a-judge paradigmát: maga az LLM értékel — megvizsgálja, hogy a generált válasz logikailag levezethető-e a visszakeresett kontextusból, és hogy a kérdésre valóban releváns-e. Ezzel referencia-adatbázis nélkül is megbízható értékelés végezhető.

A módszer ereje az, hogy a négy metrika egymástól független dimenziót mér: egy rendszer lehet magas Faithfulness-szel, de alacsony Context Recall-lal — és a RAGAS pontosan megmutatja, hol a probléma. Ez a specifikus diagnosztika tette az eszközt operatívan hasznossá.

A négy kulcsmetrika

Minden RAGAS metrika 0–1 skálán mozog. Az 1,0 a tökéletes értéket jelöli — a gyakorlatban 0,85 feletti Faithfulness és 0,80 feletti Answer Relevancy számít produkciós minőségnek. Az egyes metrikák különböző pipeline-komponenseket diagnosztizálnak: a retrieval problémái a Context Precision és Context Recall értékeiben jelennek meg, a generálási problémák a Faithfulness és Answer Relevancy értékeiben.

A RAGAS Score — a négy metrika összesítése

Az összesített RAGAS Score nem az aritmetikai átlag — hanem a harmonikus átlag, amely érzékenyen reagál a gyenge láncszemekre. Ha akár egyetlen metrika is nagyon alacsony, az összesített score drasztikusan leesik — ez szándékos: egy egyébként jó RAG rendszer is megbízhatatlan, ha a hallucinációs szint magas, vagy ha kritikus kontextus hiányzik.

A harmonikus átlag képlete négy metrikára:

Példa: Faithfulness=0,88; AnswerRelevancy=0,83; ContextPrecision=0,78; ContextRecall=0,73 → RAGAS Score ≈ 0,80 (produkciós ready).

Implementáció — hogyan futtasd a RAGAS-t?

A ragas Python csomag pip-pel telepíthető (pip install ragas), és egyetlen evaluate() hívással futtatható. A minimális bemenet: kérdés, generált válasz, és a visszakeresett chunk-ok listája. A ground_truth (referencia válasz) csak a Context Recall méréshez szükséges — a többi metrika nélküle is működik.

from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
)
from datasets import Dataset

# Teszt dataset összeállítása
data = {
    "question": ["Mi az a RAG rendszer és mire való vállalati környezetben?"],
    "answer": ["A RAG (Retrieval-Augmented Generation) egy architektúra, amelyben az LLM valós idejű dokumentum-visszakereséssel válaszol."],
    "contexts": [["Context chunk 1: A RAG rendszer vektoradatbázisból keres.", "Context chunk 2: Vállalati alkalmazások: HR-policy, ügyfélszolgálat."]],
    "ground_truth": ["A RAG az LLM-et dinamikus visszakereséssel egészíti ki."]
}

# Értékelés futtatása
result = evaluate(
    Dataset.from_dict(data),
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall]
)

print(result)
# Eredmény: {'faithfulness': 0.87, 'answer_relevancy': 0.82, 'context_precision': 0.79, 'context_recall': 0.74}

A négy paraméter magyarázata: a question az eredeti felhasználói kérdés; az answer a RAG pipeline által generált válasz; a contexts a retrieval által visszaadott szövegrészletek listája (a konkrét szövegtartalom, nem a dokumentum neve); a ground_truth egy referencia-válasz, amelyet egy emberi szakértő írt — ez csak a Context Recall számításához kötelező, a másik három metrika nélküle is lefuttatható.

RAGAS a CI/CD pipeline-ban

A RAGAS értéke sokszorozódik, ha nem egyszeri mérés, hanem folyamatos minőségbiztosítás részévé válik. A cél: minden változtatásnál — új chunking stratégia, embedding modell csere, prompt frissítés — automatikusan fusson le a RAGAS értékelés, és blokkolja a deploy-t, ha bármely metrika a küszöb alá esik.

Integráció GitHub Actions-szel

A legegyszerűbb megközelítés: egy Python script a GitHub Actions workflow-ban, amely lefuttatja a RAGAS értékelést egy rögzített tesztkészleten (50–100 Q&A pár), majd exit code 1-gyel terminálja a pipeline-t, ha bármely metrika a küszöb alá esik. Ez a megközelítés nem igényel külső szolgáltatást — a tesztkészlet a repóban verziókezelt YAML vagy JSON fájl.

Integráció LangSmith-hel és LangFuse-zal

A ragas csomag natívan integrálható a LangSmith és LangFuse megfigyelő platformokkal. Ezek automatikusan logolják a RAGAS metrikák alakulását minden értékelési futtatásnál, és dashboardon jelenítik meg a trendeket. A LangFuse ingyenes, self-hosted változata alkalmas a legtöbb vállalati RAG monitoringhoz.

Javasolt mérési frekvencia

• Minden chunking-, embedding- vagy prompt-változtatáskor: Teljes RAGAS értékelés a rögzített tesztkészleten — ez a CI/CD gate.
• Heti monitoring: 50–100 véletlenszerű kérdés az éles rendszerből, Faithfulness és Answer Relevancy mérésével — ez az éles rendszer minőségének folyamatos nyomon követése.
• Negyedéves deep-dive: Teljes négy metrika, kibővített tesztkészlettel (200–500 kérdés), eredmény összehasonlítás az előző negyedévvel.

A leggyakoribb RAGAS diagnosztikai hibák

A RAGAS értékelés nem csak egy szám — hanem egy diagnosztikai eszköz. Ha egy metrika alacsony, az pontosan mutatja, melyik pipeline-komponenst kell javítani. Az alábbi checklist a leggyakoribb hibaképeket foglalja össze.

• !

  Faithfulness < 0,70 — súlyos hallucináció

  A modell olyan állításokat generál, amelyek nem szerepelnek a visszakeresett kontextusban. Okok és javítások: (1) a chunking felosztja az összefüggő gondolatot — próbálj nagyobb chunk méretet vagy parent-child stratégiát; (2) top_k túl alacsony — a szükséges kontextus nem kerül be a modellbe; (3) generation temperature túl magas — csökkentsd 0,1–0,3 közé; (4) az LLM gyenge az instrukció-követésben — válts pontosabban irányítható modellre.

• !

  Answer Relevancy < 0,70 — irreleváns válasz

  A válasz hű a kontextushoz, de nem azt válaszolja meg, amit kérdeztek — mellébeszél, általánosít, vagy teljesen más aspektusát tárgyalja a témának. Javítások: (1) prompt engineering — add meg pontosan a kívánt válaszformátumot és fókuszt a system promptban; (2) ellenőrizd a Context Precision értékét — ha az is alacsony, a rossz retrieval vezet mellébeszélő válaszhoz; (3) tesztelj erősebb generálási modellt.

• ~

  Context Precision < 0,65 — gyenge retrieval pontosság

  A visszakeresett chunk-ok között sok az irreleváns találat — az LLM zajos kontextuból dolgozik. Javítások: (1) az embedding modell nem megfelelő a domainhez — próbálj domain-specifikus vagy multilingual modellt (pl. multilingual-e5-large, Qwen3-Emb-8B); (2) reranker hozzáadása a pipeline-hoz (pl. Qwen3-Reranker) — drasztikusan javítja a precision értéket; (3) top_k csökkentése — kevesebb, de relevánsabb chunk.

• ~

  Context Recall < 0,65 — hiányzó kontextus

  Kritikus információ nem kerül be a visszakeresett chunk-ok közé — a modellnek nincs elegendő alapja a helyes válasz generálásához. Javítások: (1) a chunking túl finom — az összefüggő gondolat több chunk-ba van szétszórva, csak az egyiket hozza vissza a retrieval; váltás parent-child chunking stratégiára; (2) top_k növelése 3-ról 6–8-ra; (3) az indexelés lefedettség ellenőrzése — nem minden dokumentum van indexelve?

• i

  Magas Faithfulness, alacsony Answer Relevancy — „hű, de mellékes" szindróma

  A modell pontosan idéz a dokumentumokból, de nem az eredeti kérdésre válaszol. Klasszikus jele: a válasz szakmailag helyes és a dokumentumokra támaszkodik, de a felhasználó nem ezt akarta tudni. Oka: a retrieval rossz dokumentumokat hoz vissza (alacsony Context Precision), vagy a prompt nem ad elég iránymutatást a fókuszra.

• i

  Alacsony Context Precision + magas Context Recall — „mindent hoz, de sokat zajjal"

  A retrieval sok dokumentumot hoz vissza, köztük a szükségeset is — de a felesleges kontextus zavarja a modellt. Megoldás: reranker réteg hozzáadása, amely a top_k találatot újrarendezi relevancia szerint, mielőtt az LLM-be kerül. Ez az egyik leghatékonyabb precis ión-javítás, minimális recall-veszteséggel.

Kérdések és válaszok

Kapcsolódó tartalmak

Varga Zoltán

AI-stratégia tanácsadó és a Corpus V2 RAG rendszer fejlesztője — 1,48 millió vektorizált szövegtöredék, Qdrant vektoradatbázis, Qwen3-Embedding-8B (Matryoshka), Qwen3-Reranker-0.6B CUDA pipeline. A RAGAS-t saját éles rendszeren futtatom, negyedévente és minden nagyobb chunking-változtatáskor. Amit itt leírtam, azt operatív tapasztalatból tudom — nem elméleti összefoglalóból.