Smart Harvesting 2

Die automatische Extraktion und

Aufbereitung bibliographischer Daten ist eines der großen Probleme bei

der Pflege bibliographischer Datenbanken. Im Smart

Harvesting-Folgeprojekt „Smart Harvesting II“ soll daher die produktive

Zusammenarbeit zwischen den Datenbankbetreibern dblp (Informatik) und

GESIS (Sozialwissenschaften) weiter fortgeführt werden, um gemeinsame

Probleme zu lösen.

Im Vorgängerprojekt lag der Fokus auf der

Entwicklung eines lernenden Wrappers, der die aktuelle Datenbasis nutzt,

um Extraktionsregeln automatisch zu generieren. Dies ist wegen der

Vielzahl der im Web verwendeten Technologien jedoch nicht immer möglich,

und gerade dynamisch zur Laufzeit generierte Seiteninhalte (z. B.

mittels AJAX-Calls) stellen noch immer eine große Herausforderung dar.

Schwerpunkt des aktuellen Projekts ist daher die Entwicklung

eines Wrapper-Frameworks zur regelbasierten Datenextraktion, das auch

von Nicht-Informatikern mittels simpler Extraktionsregeln bedient werden

kann. Sowohl Navigation als auch Extraktion sollen durch das Parsen der

den HTML-Seiten zugrunde liegenden DOM-Bäume erfolgen. Hierzu soll in

Kooperation mit der University of Oxford deren Adressierungsschema

OXPath (eine Erweiterung von XPath) in die Wrapper integriert werden.

Weiterhin sollen Monitoring-Werkzeuge geschaffen werden, mit deren Hilfe

Nicht-Programmierer (wie z. B. Bibliothekare) in der Lage sind, die

gesamte Datenextraktion zu überwachen und neue Datenquellen zu

erschließen.

Gleichzeitig sollen die Datenbestände durch

Autorendisambiguierung bereinigt und aufbereitet werden, sodass eine

solidere Datenbasis gewährleistet wird. Die bereits im Vorgängerprojekt

Smart Harvesting realisierte Software zur Disambiguierung neu gewonnener

Daten soll um eine weitere Komponente angereichert werden, die Homonyme

und Synonyme in den bestehenden Daten aufdeckt. Dabei soll vor allem

auf die in Smart Harvesting aufgedeckten Unterschiede zwischen

verschiedenen Publikationskulturen (Informatik ↔ Sozialwissenschaften)

eingegangen werden, da hier teilweise sehr unterschiedliche Strategien

angewandt werden müssen.