Das Paper „Toward GenAI-Based Contextual Metadata Generation for Reusability: Evaluating Metadata Extraction from Scientific Publications“ hat bei der diesjährigen I4CS Konferenz in Amsterdam den 2. Platz für den „Young Scientist Award“ gewonnen.
Herzlichen Glückwunsch Burak Toptas!
Die Studie untersucht, wie sich menschliche und LLM-basierte Annotationen kontextueller Metadaten aus wissenschaftlichen Publikationen hinsichtlich Vollständigkeit und semantischer Korrektheit unterscheiden. Dafür wurde ein textgestütztes Bewertungsverfahren entwickelt, das menschliche Annotationen nicht als Ground Truth behandelt und zeigt, dass LLMs häufig mehr relevante Kontextinformationen erfassen, ohne systematisch unbelegte Inhalte, wie Halluzinationen zu erzeugen.