Poster PG GENIUS

Hier findet sich eine Übersicht über die verwendeten Tools, sowie deren Einsatzgebiete und jeweiligen Websites:

Da nach unserer Recherche bestehende Frameworks zur Evaluation von RAG-Systemen oft zu technisch oder zu stark auf Einzelkomponenten fokussiert sind [6][7] , wurde ein neues, übergeordnetes Evaluationskonzept als methodische Blaupause entwickelt. Dieses Konzept unterstützt die strukturierte Planung, Durchführung und Dokumentation von Evaluationen für beliebige RAG-Anwendungen, indem es hilft, relevante Aspekte systematisch zu identifizieren und vergleichbar zu machen. Es gliedert den Prozess in Phasen (angelehnt an LlamaIndex [8]) mit definierbaren Bausteinen und Charakteristiken, fördert Transparenz sowie Nachvollziehbarkeit und dient als Orientierungshilfe für alle Beteiligten. 

Das Evaluationskonzept unterteilt den RAG-Prozess hierbei in verschiedene Phasen, welche mit unterschiedlichen Charakteristika ausgestaltet werden können. Wir haben uns dazu entschieden, folgende Charakteristika der einzelnen Bausteine zu betrachten:

Will man nun beispielsweise das Retrieval testen, so definiert man einerseits die Evaluationscharakteristika, die unabhängig von der Art der Evaluation immer festgelegt werden müssen (wie Zielgruppe, Testdatensatz, Ziele und Metriken), sowie spezielle Variationen für die verschiedenen Charakteristika des Retrievals. In unserer Evaluation sah die daraus resultierende Tabelle dann so aus: 

In unserem Fall wurden also vier Embeddingmodelle, drei Top-K-Einstellungen, drei Reranking-Modelle, sowie fünf Thresholds verglichen. Insgesamt ergeben sich dadurch also 180 verschiedene Kombinationen, die durch unser Testset durchlaufen und ausgewertet werden müssen. Die Auswertung erfolgte hierbei auf Basis der vorher festgelegten Metriken und führte dann zu einer Vorauswahl der jeweils besten Einstellungen basierend auf der Interpretation der Ergebnisse.

Am Ende wurden dann auf Grundlage dieser Vorauswahl Variationen das Gesamtsystems evaluiert. Hierbei wurde hauptsächlich auf die Antwortqualität wert gelegt.

Here is an overview of the Tools we used for our Application:

Since our research indicated that existing frameworks for evaluating RAG systems are often too technical or too focused on individual components [6][7], a new, higher-level evaluation concept was developed as a methodological blueprint. This concept supports the structured planning, execution, and documentation of evaluations for any RAG application by helping to systematically identify relevant aspects and make them comparable. It divides the process into phases (based on LlamaIndex [8]) with definable building blocks and characteristics, promotes transparency and traceability, and serves as guidance for all stakeholders involved.

In this context, the evaluation concept breaks down the RAG process into various phases, which can be configured with different characteristics. We have decided to consider the following characteristics of the individual building blocks:
 

If, for example, one wants to test the retrieval, one defines the evaluation characteristics that must always be determined regardless of the type of evaluation (such as target group, test dataset, goals, and metrics), as well as specific variations for the different characteristics of the retrieval. In our evaluation, the resulting table then looked like this:

Thus, in our case, four embedding models, three top-k settings, three reranking models, and five thresholds were compared. This resulted in a total of 180 different combinations that had to run through our test set and be evaluated. The evaluation was based on the previously defined metrics and then led to a pre-selection of the best respective settings based on the interpretation of the results.

Finally, based on this pre-selection, variations of the overall system were evaluated. In this process, the focus was mainly on answer quality.