Helmholtz-Qualitätsindikatoren für Daten- und Softwarepublikationen
Helmholtz entwickelt multidimensionale Qualitätskonzepte für Forschungsdaten- und -softwarepublikationen, um deren Qualität, Nachnutzbarkeit und Sichtbarkeit systematisch zu fördern.
Warum Helmholtz-Qualitätsindikatoren?
Die wissenschaftliche Leistungsbewertung befindet sich im Wandel: Im Sinne globaler Bestrebungen zu Reformen der Forschungsbewertung und der Open-Science-Bewegung, die das übergeordnete Ziel verfolgen, die Qualität, Wirkung und Vertrauenswürdigkeit von Forschung zu verbessern, entwickeln wir bei Helmholtz neue Ansätze, um Forschungsergebnisse jenseits klassischer (textbasierter) Fachpublikationen angemessen zu berücksichtigen. Forschungsdaten und -software sind zentrale Bestandteile eines offenen Forschungsökosystems und bilden das Fundament für Transparenz, Nachvollziehbarkeit und Reproduzierbarkeit wissenschaftlicher Ergebnisse.
Um diese Forschungsergebnisse stärker zu berücksichtigen, hat die Helmholtz-Gemeinschaft eigene Qualitätsindikatoren für diese Forschungsoutputs entwickelt. Sie verfolgen dabei die folgenden Ziele:
- Sichtbarkeit stärken: Sie fördern die Sichtbarkeit und Wertschätzung für die Vielfalt von Forschungsoutputs, wie Forschungsdaten und -software, innerhalb der Gemeinschaft und nach außen.
- Forschungsbewertung modernisieren: Sie richten die Bewertung von Forschung und Forschungspraxis konsequent an den Bedingungen der Digitalisierung und der Offenheit der Wissenschaft aus.
- Anreize setzen: Sie motivieren Wissenschaftler:innen dazu, ihre Daten- und Softwarepublikationen anhand spezifischer Qualitätskriterien weiterzuentwickeln, und verbessern die strukturellen Rahmenbedingungen in den Zentren.
Exemplarische Darstellung eines Radardiagramm, das die Ergebnisse des Reifegradmodells visualisiert.
Konzeptentwicklung der Qualitätsindikatoren
Das Konzept für die Indikatoren basiert auf einem intensiven, iterativen Diskussionsprozess innerhalb der Task Group Helmholtz-Qualitätsindikatoren für Daten- und Softwareprodukte (kurz TG Indikatorik). Die Gruppe setzt sich interdisziplinär aus Expert:innen der Bereiche Forschungsdatenmanagement, Forschungssoftware, Informationsinfrastrukturen und Bibliothekswesen aus allen Helmholtz-Zentren zusammen. Durch diese aktive Einbindung aller Helmholtz-Zentren wird sichergestellt, dass die Qualitätsindikatoren die Vielfalt der wissenschaftlichen Disziplinen und Forschungspraktiken innerhalb der Helmholtz-Gemeinschaft berücksichtigen.
Die Qualitätsindikatoren beschreiben verschiedene Qualitätsdimensionen einer Publikation. Grundlage bilden die FAIR-Prinzipien (Findable, Accessible, Interoperable, Reusable), ergänzt um weitere Kriterien, die speziell für Forschungsdaten oder Forschungssoftware relevant sind.
Für jede Qualitätsdimension sind Kriterien definiert. Die Bewertung erfolgt über ein dazugehöriges Reifegradmodell, das die Umsetzung einzelner Qualitätsmerkmale systematisch erfasst.
Implementierung
Die Implementierung des Qualitätsindikators erfolgt in drei Phasen, um die Anforderungen schrittweise in das institutionelle Berichtswesen zu überführen:
Phase 1: Bestandsaufnahme (2022–2025) In diesem Zeitraum begannen die Helmholtz-Zentren mit einer ersten systematischen, quantitativen Erfassung zitierfähiger Forschungsdaten- und Softwarepublikationen. Diese dezentrale Erhebung diente dazu, Erfahrungen bei der Identifikation und Dokumentation der Forschungsoutputs zu sammeln.
Phase 2: Pilotphase (2026–2028) Ab 2026 wird die qualitative Bewertung anhand des Qualitätsindikators schrittweise eingeführt. Ein Schwerpunkt dieser Phase liegt auf der Entwicklung und Erprobung (semi-)automatisierter Prozesse zur Erfassung der Forschungspublikationen. Ziel ist es, die Anwendung der Indikatoren in Vorbereitung auf das neue Berichtsjahr flächendeckend an allen Zentren zu etablieren.
Es ist davon auszugehen, dass im Rahmen der Erprobungsphase noch Anpassungen an den den entwickelten Kriterien und ihren Ausprägungen stattfinden werden, um diese auf Basis der praktischen Erfahrungen und mit Blick auf eine möglichst reibungslose Automatisierung weiter zu verfeinern.
Phase 3: Verbindliche Anwendung (ab 2029) Mit der fünften Phase der programmorientierten Förderung (PoF V) wird die Erfassung der Qualitätsindikatoren für Forschungsdaten und -software ab dem Berichtsjahr 2029 (für Publikationsjahr 2028) integraler und verpflichtender Bestandteil des institutionellen Berichtswesens.
Aktueller Stand (Juli 2026)
Die Implementierung der Qualitätsindikatoren erfordert eine aktive Gestaltung auf Ebene der einzelnen Helmholtz-Zentren. Die Wahl des konkreten Arbeitsablaufs zur Erfassung und Berichterstattung bleibt dabei bewusst im Ermessen der Zentren, um bestehende Prozesse und lokale Anforderungen angemessen berücksichtigen zu können.
Angesichts der derzeit variierenden Umsetzungsstrategien hinsichtlich Forschungssoftware und Forschungsdaten ist ein kontinuierlicher Informationsaustausch auf Ebene der Zentren ein wichtiger Bestandteil der Implementierung. Er trägt dazu bei, Transparenz über den Bewertungsprozess zu schaffen, individuelle Erfassungsmechanismen zu etablieren und Forschende über die Möglichkeiten zur Registrierung ihrer Forschungsoutputs zu informieren.
Forschungssoftwarepublikationen
Für Forschungssoftware wurden ein Kriterienkatalog und für das Helmholtz Research Software Directory (RSD) (HIFIS) ein standardisierter Workflow erarbeitet, der die Bewertung von im RSD registrierten Softwarepublikationen ermöglicht. Ziel ist es, dass Softwareentwickler:innen für ihre im RSD gelisteten Softwarepublikationen eine Auswertung anhand der entwickelten Kriterien durchführen. Dadurch erhalten sie direkte Informationen darüber, wie ihre Softwarepublikation in den verschiedenen Qualitätsdimensionen zu bewerten ist und wo mögliches Verbesserungspotential liegt.
Das Research Software Directory (RSD) wird zwar als unterstützende Lösung bereitgestellt, ist jedoch keine exklusive Vorgabe, sofern ein Zentrum über alternative, geeignete Arbeitsabläufe verfügt, um den Qualitätsindikator für Softwareprodukte zu erheben.
Meilensteine und weitere Planung
(Die Meilensteine dienen als Orientierung und werden bei Bedarf flexibel an den Projektfortschritt angepasst.)
- 2025: Entwicklung der Qualitätskriterien (vorerst) abgeschlossen
- 2026-Q1: Beginn der Testphase
- 2026-Q2: Informationsveranstaltung für Forschende und Softwareentwickler:innen
- 2026: Online-Handbuch des RSD verfügbar und wird fortlaufend aktualisiert
- 2026: FAQ zum Helmholtz-Qualitätsindikator für Forschungssoftware-Publikationen verfügbar und wird fortlaufend aktualisiert (aktuell Helmholtz-ID-Account notwendig)
- 2026-Q3: Release des Qualitätsindikator-Features im RSD (Reporter View)
- 2026-Q4: Informationsveranstaltung für Reporter und finale Umsetzung im RSD
- 2027-2028: Weiterentwicklung der Qualitätskriterien im RSD
- 2029: Einführung Helmholtz-weite Berichterstattung mittels des Qualitätsindikators Forschungssoftware.
Forschungsdatenpublikationen
Meilensteine und weitere Planung
(Die Meilensteine dienen als Orientierung und werden bei Bedarf flexibel an den Projektfortschritt angepasst.)
- 2025: Entwicklung der Qualitätskriterien (vorerst) abgeschlossen
- 2026-Q3: Entwicklung der Tool-Architektur für das (semi-)automatisierte Auswertungsverfahren zusammen mit HMC
- 2026-Q4: Informationsveranstaltung zum Qualitätsindikator für Datenpublikationen
- 2027-Q1: Angebot wird gestartet: Erhebung der Forschungsdatenpublikationen von 2026 durch HMC mit Vollständigkeitsprüfung und Ergänzung durch die Helmholtz-Zentren (parallel dazu wird der Einstiegsindikator wie im Jahr zuvor durch die Zentren erhoben)
- 2027-Q1: Software-Entwicklung des Tools zur automatisierten Bewertung über den Qualitätsindikators beginnt
- 2027-Q3: Erste Testphase des Tools mit erhobenen Forschungsdatenpublikationen von 2026
- 2028: Weitere Testphase des Tools mit Feedbackschleifen und Informationsveranstaltungen
- 2029: Einführung Helmholtz-weite Berichterstattung mittels des Qualitätsindikators Forschungsdaten.