Warum haben wir diese Vortragsreihe gemacht? Um die Besucherzahlen zu erhöhen? Oder um das Vertrauen in die Klimaforschung zu stärken? Diese Frage ist der Startpunkt jeder seriösen Evaluation von Wissenschaftskommunikation, der systematischen Bewertung von Kommunikationsaktivitäten zur Messung ihrer Wirksamkeit. Zu lange Zeit hat sich die Branche damit begnügt, Likes auf Social Media oder die Anzahl verteilter Flyer zu zählen. Doch Zahlen allein erzählen keine Geschichte. Sie zeigen uns nicht, ob ein Mensch sein Verhalten geändert hat, ob er einer neuen Technologie vertraut oder ob eine Institution langfristig profitiert.
Die Zeiten reiner „Output“-Berichterstattung sind vorbei. Fördergeber, Universitäten und Museen verlangen heute nachweisbare Wirkung - sogenannte Outcomes und Impacts. Das Problem dabei: Wirkungen wie „gestärktes Vertrauen“ oder „veränderte Einstellungen“ lassen sich nicht einfach mit einem Zählwerk messen. Hier kommt das richtige Instrumentarium ins Spiel. Wir brauchen eine Mischung aus harten Kennzahlen (KPIs), gezielten Befragungen (Surveys) und tiefgehenden narrativen Analysen (Fallstudien).
Von Outputs zu Impacts: Die drei Ebenen verstehen
Bevor Sie auch nur eine einzige Metrik auswählen, müssen Sie klären, was Sie eigentlich erreichen wollen. In der Fachliteratur, insbesondere seit den Überblicksarbeiten der letzten Jahre, wird zwischen drei klar getrennten Ebenen unterschieden. Verwechseln Sie diese nicht, sonst misst am Ende alles falsch.
- Outputs (Produkte): Das sind die direkten Ergebnisse Ihrer Arbeit. Haben Sie fünf Webinare durchgeführt? Haben Sie einen Podcast gestartet? Sind 10.000 Menschen über Ihre Website gekommen? Diese Daten sind leicht zu erfassen, aber sie sagen nichts über die Qualität oder den Nutzen aus.
- Outcomes (Wirkungen): Hier geht es um Veränderungen bei den Menschen. Hat das Publikum etwas Neues gelernt (kognitiv)? Fühlen sie sich eher positiv gegenüber dem Thema (affektiv)? Beabsichtigen sie, Plastikmüll zu reduzieren (konativ)? Outcomes messen kurz- bis mittelfristige Effekte.
- Impacts (Folgen): Das ist die langfristige gesellschaftliche oder institutionelle Veränderung. Führt Ihre Kommunikation zu neuen politischen Gesetzen? Steigen die Studierendenzahlen an Ihrem Institut? Wird die Forschungslage in der lokalen Politik ernst genommen? Impacts entstehen oft erst Jahre nach der eigentlichen Aktivität.
Eine gute Evaluation betrachtet alle drei Stufen. Wenn Sie nur Outputs messen, wissen Sie nie, ob Ihre Arbeit wirklich Wert schafft. Wenn Sie nur nach Impacts suchen, verlieren Sie den Überblick über den täglichen Prozess. Der Schlüssel liegt in der Kombination.
KPIs: Mehr als nur Klicks und Likes
Key Performance Indicators (KPIs) sind das Rückgrat jeder quantitativen Auswertung. Doch viele fallen in die Falle, nur „Vanity Metrics“ zu tracken - also Zahlen, die gut aussehen, aber wenig bedeuten. Ein Like kostet keinen Gedanken. Ein geteilter Artikel vielleicht schon mehr. Ein Kommentar, der eine Frage stellt, noch mehr.
Teilen Sie Ihre KPIs daher intelligent auf:
| KPI-Kategorie | Beispiele | Stärke | Schwäche |
|---|---|---|---|
| Reichweite (Awareness) | Impressions, Unique Visitors, Presseerwähnungen | Schnell verfügbar, gut für Reporting | Sagt nichts über Verständnis aus |
| Engagement (Interaktion) | Kommentare, Shares, Verweildauer auf Seite | Zeigt aktives Interesse | Kann durch Bot-Aktivitäten verzerrt sein |
| Qualität (Sentiment) | Sentiment-Analyse (positiv/negativ), Feedback-Scores | Erkennt emotionale Resonanz | Aufwändig zu analysieren, kontextabhängig |
| Institutioneller Impact | Altmetric Scores, Drittmittelzuwachs, Kooperationen | Langfristiger organisatorischer Nutzen | Ursache-Wirkungs-Zusammenhang schwer zu belegen |
Nutzen Sie Tools wie Google Analytics für Website-Daten oder Plattform-eigene Insights für Social Media. Für professionelle Medienbeobachtung gibt es Dienste wie Meltwater, die Ihnen zeigen, wo und wie Ihre Themen diskutiert werden. Wichtig: Definieren Sie vor Projektstart Baselines. Ohne einen Ausgangswert können Sie keine Veränderung beweisen.
Surveys: Den Puls der Zielgruppe fühlen
Zahlen geben Ihnen das „Was“, Befragungen geben Ihnen das „Warum“. Um kognitive, affektive und konative Outcomes zu messen, sind Surveys unverzichtbar. Aber Achtung: Ein schlechter Fragebogen liefert schlechte Daten. Halten Sie sich an bewährte Prinzipien.
Der Goldstandard in der Evaluation ist das Pre-Post-Design. Befragen Sie Ihre Zielgruppe direkt vor der Veranstaltung oder dem Kontakt mit dem Material und dann erneut danach. So können Sie exakt nachweisen, was Ihre Intervention bewirkt hat. Fragen Sie zum Beispiel:
- Wissen (Kognitiv): „Wie sicher sind Sie, dass Sie den Unterschied zwischen Wetter und Klima erklären können?“ (Vorher/Nachher)
- Vertrauen (Affektiv): „Inwiefern vertrauen Sie den Aussagen der beteiligten Forscherinnen und Forscher?“
- Handlungsintention (Konativ): "Werden Sie dieses Wissen weitergeben oder Ihr eigenes Verhalten ändern?"
Verwenden Sie Likert-Skalen (z. B. 1 bis 5), da diese statistisch leichter auswertbar sind als offene Antworten. Ergänzen Sie geschlossene Fragen jedoch immer um ein offenes Feld: „Was war der verwirrendste Teil?“ oder „Was hat Ihnen am meisten geholfen?“. Diese Freitextantworten enthalten oft die wertvollsten Hinweise für die Verbesserung zukünftiger Formate.
Für tiefere Einblicke reichen Online-Formulare nicht aus. Planen Sie Fokusgruppen oder Experteninterviews ein. Hier lernen Sie, wie Zielgruppen wissenschaftliche Expertise einordnen und welche Barrieren sie wahrnehmen. Dies ist besonders wichtig, wenn Sie komplexe oder kontroverse Themen behandeln.
Fallstudien: Narrative statt nackter Zahlen
Manchmal ist die wirkungsvollste Methode der Evaluation gar keine Zahl, sondern eine Geschichte. Qualitative Fallstudien eignen sich hervorragend, um komplexe Prozesse und langfristige Impacts zu dokumentieren, die sich in keinem Dashboard wiederfinden.
Stellen Sie sich vor, Ihre Kampagne hat dazu geführt, dass eine lokale Gemeinde ihre Abfallpolitik ändert. Eine Statistik zeigt vielleicht nur, dass 500 Menschen eine Petition unterzeichnet haben. Eine Fallstudie erzählt die Geschichte: Wie kam es dazu? Welche Schlüsselpersonen waren beteiligt? Welche Widerstände gab es? Wie hat die Wissenschaftskommunikation hier als Katalysator gewirkt?
Führen Sie dafür narrative Impact-Statements auf. Sammeln Sie Evidenz durch:
- Dokumentenanalysen (z. B. Referenzen auf Ihre Arbeit in politischen Papieren)
- Tiefeninterviews mit Stakeholdern (Politikern, Journalisten, Bürgern)
- Teilnehmende Beobachtung bei Veranstaltungen
Diese Methode ist ressourcenintensiv. Sie erfordert Zeit und methodisches Know-how. Der payoff ist jedoch enorm: Sie schaffen glaubwürdige, emotionale Beweise für die Relevanz Ihrer Arbeit. Fördergeber schätzen solche Geschichten, weil sie die menschliche Dimension der Wissenschaft sichtbar machen.
Praxisleitfaden: Die sechs Schritte zur erfolgreichen Evaluation
Integration ist der Schlüssel. Evaluation darf kein Nachgedanke am Ende eines Projekts sein. Arbeiten Sie diesen Ablaufplan ab Projektstart durch:
- Strategische Planung: Definieren Sie klare Ziele. Was soll erreicht werden? Wer ist die Zielgruppe? Welches Format nutzen Sie?
- Evaluationsvorhaben bestimmen: Entscheiden Sie, welche Ebene (Output, Outcome, Impact) im Fokus steht. Setzen Sie realistische Erwartungen basierend auf Ressourcen.
- Erhebungsdesign planen: Wählen Sie Ihre Methoden. Brauchen Sie Pre-Post-Surveys? Social-Media-Monitoring? Interviews? Legen Sie Zeitpunkte fest.
- Instrumente entwickeln: Erstellen Sie die Fragebögen, konfigurieren Sie die Dashboards, schreiben Sie die Interview-Leitfäden. Testen Sie diese im Kleinen.
- Datenauswertung planen: Wer wertet aus? Wie werden quantitative und qualitative Daten kombiniert (Triangulation)? Achten Sie auf Datenschutz (DSGVO).
- Berichten und Reflektieren: Präsentieren Sie die Ergebnisse nicht nur als Bericht, sondern als Lernprozess. Was funktioniert hat? Was muss sich ändern? Nutzen Sie dies für die nächste Runde.
Ein häufiger Fehler ist der Versuch, alles auf einmal zu messen. Beginnen Sie klein. Wählen Sie zwei bis drei zentrale KPIs und einen kurzen Survey. Lernen Sie daraus. Skalieren Sie dann.
Herausforderungen und wie man sie meistert
Es ist nicht einfach, Wirkung nachzuweisen. attribution ist das große Wort. Wenn die Einschreibungen an Ihrer Uni steigen, liegt das an Ihrer Kampagne oder an besseren Noten in der Schule? Oft laufen mehrere Maßnahmen parallel.
Seien Sie ehrlich in Ihren Berichten. Dokumentieren Sie Kontextfaktoren. Schreiben Sie auf, was außerhalb Ihrer Kontrolle passierte. Das erhöht die Glaubwürdigkeit Ihrer Evaluation massiv. Fairness gegenüber allen Beteiligten - Forschenden, Publikum, Partnern - ist ebenso wichtig wie methodische Genauigkeit.
Ressourcenknappheit ist ein reales Problem. Viele Projekte haben kein Budget für externe Evaluatoren. Nutzen Sie dann interne Kompetenzen. Bieten Sie Trainings für Mitarbeiter an. Schaffen Sie Strukturen, in denen Evaluation als Chance gesehen wird, nicht als bürokratische Last. Organisationen, die Wissenschaftskommunikation strategisch unterstützen - mit Zeitbudgets und Anerkennung -, sehen deutlich bessere Ergebnisse.
Zukunftsperspektiven: Holografisch und adaptiv
Der Trend geht weg von isolierten Kennzahlen hin zu holistischen Modellen. Monitoring, Evaluation und Learning (MEL) werden zusammen gedacht. Es geht nicht nur darum, Rechenschaft abzulegen, sondern kontinuierlich zu lernen und Projekte adaptiv anzupassen.
Digitale Tools eröffnen neue Möglichkeiten. Echtzeit-Analysen von Social-Media-Sentiments ermöglichen es, während einer laufenden Kampagne nachzusteuern. Gleichzeitig wächst die Verantwortung. Algorithmen können voreingenommen sein. Datenqualität variiert stark. Ethische Fragen rund um Privatsphäre und Transparenz dürfen nicht ignoriert werden.
Langfristig wird der Erfolg davon abhängen, ob wir Indikatoren entwickeln, die sowohl wissenschaftliche Qualität als auch gesellschaftliche Verantwortung abbilden. Nicht nur, wie viele Menschen uns folgen, sondern ob wir dazu beitragen, informierte Entscheidungen in unserer Gesellschaft zu ermöglichen. Das ist das wahre Ziel.
Welcher Unterschied besteht zwischen Output und Outcome?
Outputs sind die direkten Produkte Ihrer Aktivitäten, wie die Anzahl durchgeführter Vorträge oder verteilte Broschüren. Outcomes beschreiben die Veränderungen bei der Zielgruppe, etwa neu erworbenes Wissen, veränderte Einstellungen oder beabsichtigtes Handeln. Outputs messen Aktivität, Outcomes messen Wirkung.
Wie kann ich Vertrauen in die Wissenschaft messen?
Vertrauen ist eine Einstellung und lässt sich am besten durch Surveys mit Likert-Skalen ermitteln. Stellen Sie Fragen wie „Inwiefern stimmen Sie folgender Aussage zu: Ich vertraue den Ergebnissen dieser Studie.“ Kombinieren Sie dies mit qualitativen Interviews, um zu verstehen, warum jemand vertraut oder misstraut.
Lohnt sich der Aufwand für Fallstudien?
Ja, besonders für die Dokumentation von Langzeitwirkungen (Impacts). Während KPIs schnelle Trends zeigen, erzählen Fallstudien die komplexe Geschichte dahinter. Sie sind ideal, um Fördergebern und der Öffentlichkeit zu verdeutlichen, wie Wissenschaft konkret gesellschaftliche Probleme löst oder Debatten bereichert.
Was ist ein Pre-Post-Design in der Evaluation?
Ein Pre-Post-Design bedeutet, dass Sie Ihre Zielgruppe zweimal befragen: einmal vor der Kontaktaufnahme mit dem wissenschaftlichen Inhalt (Pre) und einmal danach (Post). Der Vergleich der beiden Ergebnisse zeigt direkt, welchen Effekt Ihre Kommunikation hatte, und hilft, andere Einflussfaktoren auszuschließen.
Welche KPIs sind für Social Media am wichtigsten?
Vergeuden Sie nicht nur Ihre Zeit auf Likes. Konzentrieren Sie sich auf Engagement-Raten (Kommentare, Shares, Saves) und Sentiment-Analysen. Diese Metriken zeigen echtes Interesse und die emotionale Resonanz Ihrer Inhalte. Auch die Verweildauer bei Videos oder Artikeln ist ein starker Indikator für Aufmerksamkeit.
