Das STELLA-Projekt hat zum Ziel, eine

Evaluierungsinfrastruktur zu schaffen, die es ermöglicht, experimentelle

Retrieval- und Recommendersysteme in akademischen Suchsystemen mit echten

Nutzern zu betreiben. Hierzu stellt STELLA eine integrierte e-Research-Umgebung

bereit, ein sogenanntes Living Lab. Der Versuchsaufbau unterscheidet sich

deutlich von klassischen Offline-TREC-Studien, da er die Nutzung einer

Evaluierungsmethode ermöglicht, die bisher der industriellen Forschung oder den

Betreibern großer Online-Plattformen vorbehalten war. Das STELLA-Framework

wurde entwickelt, um akademische Suchlösungen zu unterstützen, die mit der

Heterogenität und Masse von Texten (und Forschungsdatensätzen) umgehen, die

immer noch neue Herausforderungen z.B. für die Disziplinen Information

Retrieval, Recommender Systems oder digitale Bibliotheken mit sich bringen. 

In STELLA I haben die drei Projektpartner TH Köln, ZB MED

und GESIS das Konzept der nutzerzentrierten Living Labs in den Bereich der

akademischen Suche eingebracht und die Möglichkeit geschaffen,

Retrieval-Ansätze in zwei realen Suchportalen zu evaluieren. So wurde die

methodische Kluft zwischen realen und laborbasierten Evaluationen effektiv

verringert. STELLA wurde so zum Eckpfeiler des CLEF 2021 Labs LiLAS und erwies

sich dabei als zuverlässig und erweiterbar.

In STELLA~II werden die drei Partner das bestehende

Framework um die zusätzlichen externen Partner DIPF, TIB und ZBW und ihre

entsprechenden Suchplattformen und Evaluationsanwendungen erweitern. Darüber

hinaus wird STELLAs derzeitiges Ad-hoc-Retrieval- und Recommender-Setup zu

einer Evaluierungsplattform ausgebaut, die dem Prinzip des Continious

Evaluation folgt.