Cross-Language Evaluation Forum - CLEF (in Kooperation mit dem Network of Excellence on Digital Libraries)

Bearbeitung: Stefan Baerisch,  Dr. Vivien Petras, Dr. Maximilian Stempfhuber
Leitung: Prof. Dr. Jürgen Krause
Kontakt: Dr. Vivien Petras

Projektbeschreibung:

Das Projekt CLEF ist nunmehr ein eigenständiges EU-Projekt, aber weiterhin in Kooperation mit dem DELOS Network of Excellence on Digital Libraries. Es stellt ein Testbed und eine Evaluierungsumgebung für den Test mehrsprachiger Retrievalsysteme zur Verfügung. Für die europäischen Sprachen wird das langjährige Evaluierungsprogramm TREC-CLIR auf der Basis der TREC-Evaluierungsmethodik fortgesetzt. Das Ziel ist, Nutzeranfragen, die in einer beliebigen europäischen Sprache gestellt werden, in beliebigsprachigen Dokumentmengen abzuarbeiten und eine nach Relevanz geordnete Ergebnismenge zu erhalten, die auf diese Frage eine Antwort darstellt. Folgende Arbeitsschwerpunkte der Evaluierung sind vorgesehen: 1. Mehrsprachiges Information Retrieval, 2. Zweisprachiges Information Retrieval, 3. Einsprachiges Information Retrieval (nicht Englisch), 4. Information Retrieval in der fachspezifischen Dokumentmenge GIRT (German Indexing and Retrieval Test database), die vom GESIS-IZ bereitgestellt wird und einen Auszug aus den Datenbanken SOFIS und SOLIS enthält. 

Projektpartner:

• Eurospider Information Technology AG Zürich
• Universidad National de Educación a Distanzia, Madrid (UNED)
• National Institute for Standards and Technology (NIST), Gaithersburg (USA)
• Istituto di Scienza e Tecnologie dell'Informazione, Consiglio Nazionale delle Ricerche (ISTI-CNR), Pisa
• The Evaluations and Language resources Distribution Agency (ELDA), Paris
• Swedish Institute of Computer Science (SICS), Kista
• University of Tampere - Department of Information Studies, Tampere
• University of Twente - Department of Computer Science, Enschede
• in Kooperation mit der Universität Hildesheim, Institut für Angewandte Sprachwissenschaft - Informationswissenschaft

Projektlaufzeit: (Vorläufer seit Januar 2000) Oktober 2001 – März 2004 

Finanzierer:  

EU (im Rahmen des Schwerpunktprogramms des 5. Forschungsrahmenprogramms der EU) 

Veröffentlichungen:

• Kluck, Michael; Womser-Hacker, Christa (2002): Inside the Evaluation Process of the Cross-Language Evaluation Forum (CLEF): Issues of Multilingual Topic Creation and Multilingual Relevance Assessment. S. 573-576. In: Rodríguez, M. G.; Araujo, C.P.S. (Hrsg.): Proceedings of the Third International Conference on Language Resources and Evaluation, LREC 2002, Las Palmas de Gran Canaria, 29-31 May 2002. Paris: ELRA.
• Michael Kluck: Das Cross-Language Evaluation Forum (CLEF) - Evaluationsumgebung und Forschungskontext für mehrsprachiges Information Retrieval (mit einer Skizze der Ergebnisse von CLEF 2002). In: Rainer Hammwöhner, Christian Wolff, Christa Womser.-Hacker (Hrsg.): Information und Mobilität. Optimierung und Vermeidung von Mobilität durch Information. Proceedings des 8. Internationalen Symposiums für Informationswissenschaft (ISI 2002). Konstanz: UVK 2002, 225-237.
• Carol Peters, Martin Braschler, Julio Gonzalo, Michael Kluck (eds.): Evaluation of Cross-Language Information Retrieval Systems: Second Workshop of the Cross-Language Evaluation Forum, CLEF 2001, Darmstadt, Germany, September 3-4, 2001. Revised Papers. Berlin u.a.: Springer 2002 (= Lecture Notes in Computer Science, 2406) siehe: http://link.springer.de/link/service/series/0558/tocs/t2406.htm#toc2406
• Michael Kluck, Thomas Mandl, Christa Womser-Hacker: Cross-Language Evaluation Forum (CLEF) : Europäische Initiative zur Bewertung sprachübergreifender Retrievalverfahren. In: Information - Wissenschaft und Praxis (nfd), Jg. 53, 2002, Nr. 2, S. 82-89
• Kluck, Michael; Gey, Frederic C. (2000): The Domain-Specific Task of CLEF: Specific Evaluation Strategies in Cross-Language Information Retrieval.

• Martin Braschler, Donna Harman, Michael Hess, Michael Kluck, Carol Peters, Peter Schäuble: The Evaluation of Systems for Cross-Language Information Retrieval, in: Maria Gavrilidou et al. (eds.): Second International Conference on Language Resources and Evaluation, Proceedings, Athens, Greece, 31 May - 2 June 2000. Athen: ELRA 2000, p. 1469-1474

• Peters, Carol (ed.): Cross-Language Information Retrieval and Evaluation, Workshop of the Cross-Language Evaluation Forum, CLEF 2000, Lisbon, Portugal, September 2000, Revised Papers. Berlin et al.: Springer 2001 (= Lecture Notes in Computer Science, LNCS 2069)

• Michael Kluck/Frederic C. Gey: The Domain-Specific Task of CLEF - Specific Evaluation Strategies in Cross-Language Information Retrieval. In: Peters, Carol (ed.): Cross-Language Information Retrieval and Evaluation, Berlin et al.: Springer 2001, S. 48-56

• Donna Harman, Martin Braschler, Michael Hess, Michael Kluck, Carol Peters, Peter Schäuble, Páraic Sheridan: CLIR Evaluation at TREC. In: Peters, Carol (ed.): Cross-Language Information Retrieval and Evaluation, Berlin et al.: Springer 2001, S. 7-23 

Mehr Information unter:  Projekt-Homepage CLEF

© GESIS Vivien Petras 05.12.2007