Evaluation ist ein zentraler Aspekt in der Forschung und Entwicklung von Information Retrieval (IR)- und Recommender (RecSys)-Systemen. Offline-Evaluationen mit Hilfe von Expertenurteilen gehen aber oft an den tatsächlichen Nutzerbedürfnissen vorbei, da die Experten, die die Bewertungen vornehmen, eben nicht den normalen Nutzern einer Plattform entsprechen. Online-Evaluationen untersuchen IR- und Recommender-Systeme zwar direkt im Produktivbetrieb, nur sind solche Evaluationen nur durchführbar, wenn man direkten Zugriff auf eine ausreichend groß dimensionierte Plattform mit vielen Nutzern hat.

Im Rahmen des Projektes STELLA (Infrastructures for Living Labs) soll eine Evaluationsinfrastruktur geschaffen werden, die es dem akademischen Umfeld erlaubt Such- und Recommender-Systeme innerhalb von produktiven Web-basierten Plattformen mit echten Nutzern zu evaluieren. Für das Projektvorhaben sind zwei verschiedene Zielgruppen relevant: Zum einen wissenschaftliche Infrastruktureinrichtungen und Plattformbetreiber (z.B. GESIS, ZB MED, ZBW, DIPF oder TIB), zum anderen Forschende aus dem Bereich der Informationswissenschaft und Informatik mit dem Fokus auf IR- und Recommender-Systeme. Die Ziele des Projektes sind Aufbau einer E-Research-Forschungsinfrastruktur und Einsatz der E-Research-Forschungsinfrastruktur im Rahmen einer Living-Labs-Evaluationskampagne für die IR- und RecSys-Community