Messen heißt wissen: Unser Streben nach echter Wirkung

„Woher wissen Sie eigentlich, ob Sie etwas bewirken?“

Diese Frage wurde mir 2022 im Gespräch mit einem potenziellen Geldgeber gestellt. Meine Antwort war voller Geschichten: Omar wird selbstbewusster, Yara verwirklicht ihre niederländischen Träume, Mohammed lernt niederländische Kollegen kennen. (Namen sind fiktiv)

„Aber wie lauten Ihre Zahlen?“, fragte sie weiter.

Schweigen.

Wir hatten tolle Geschichten, zufriedene Auszubildende und das Gefühl, wirklich etwas zu bewirken. Aber konkrete Zahlen? Die gab es nicht.

Das Story-Problem

Drei Jahre lang basierte Grenzeloos auf Geschichten und Intuition. Wir sahen Menschen wachsen, erhielten positives Feedback und spürten, dass unser Ansatz funktionierte. Die Berater der Gemeinde waren zufrieden, die Auszubildenden kamen nach ihrer Laufbahn zum Kaffee zurück, und wir hatten regelmäßig einen guten Arbeitsfluss.

Für uns war das Beweis genug. Wir waren beschäftigt, den Leuten wurde geholfen – was konnten wir uns mehr wünschen?

Das Problem war, dass Geschichten nicht skalierbar sind. Jedes Mal, wenn wir unsere Wirkung erklären mussten, erzählten wir dieselben alten Anekdoten. Geldgeber wollten Trends erkennen. Partner wollten vergleichbare Daten. Und wir selbst begannen zu hinterfragen, ob wir wirklich so effektiv waren, wie wir dachten.

Der Weckruf

Im Jahr 2023 wurden wir gebeten, an der Impact Expedition von Grant Thornton teilzunehmen, einem Programm, das speziell darauf ausgelegt ist, Sozialunternehmen bei der Messung ihrer Wirkung zu unterstützen.

Der erste Workshop brachte uns dazu, innezuhalten und über die Fakten nachzudenken. Wir mussten unsere Theorie des Wandels erklären – die Geschichte, wie unsere Aktivitäten zu der gewünschten Wirkung führen. Wir hatten eine Idee, aber sie war ziemlich vage:

„Wir bieten ein duales Studienprogramm an. → Die Leute lernen Niederländisch und erwerben Fertigkeiten. → Sie finden Arbeit. → Sie integrieren sich besser.“

„Und woher wissen Sie, dass diese Schritte tatsächlich stattfinden?“, fragte der Trainer.

Das ist eine gute Frage. 

Die ersten Messungen

Wir haben uns für einen einfachen Einstieg entschieden. Anstatt ein komplexes System zu entwickeln, haben wir unseren Auszubildenden einfach Fragen gestellt.

Wir haben einen Fragebogen entwickelt, den wir als Interview durchgeführt haben:

• Wie schätzen Sie Ihre Niederländischkenntnisse ein? (Eigene Einschätzung und Einschätzung des Lehrers)
• Mit wie vielen Leuten haben Sie in den letzten Wochen Niederländisch gesprochen?
• Wie lange dauerte Ihr längstes Gespräch auf Niederländisch?
• Wie denken Sie über die Anzahl der Menschen, die Sie in den Niederlanden kennen?
• Wie wichtig ist Grenzeloos für Sie beim Niederländischlernen?
• Was ist das Wichtigste, was Grenzeloos für Sie bedeutet hat?

Nichts Revolutionäres, aber konkrete Fragen zu den Dingen, die wir angeblich tun.

Die überraschenden Ergebnisse

Nach zwei Monaten führten wir den gleichen Fragebogen erneut bei acht Auszubildenden durch. Die Ergebnisse waren überraschend positiv:

Sprachentwicklung: Im Durchschnitt steigerten die Teilnehmer ihr Sprachniveau in zwei Monaten um ein Viertel. Sprechen und Verstehen verbesserten sich besonders schnell.

Bewertung: Die Auszubildenden gaben Grenzeloos aufgrund seiner Bedeutung für das Erlernen der niederländischen Sprache eine durchschnittliche Punktzahl von 9 von 10.

Netzwerkeffekt: Weniger deutlich messbar, aber in den offenen Antworten sichtbar.

Am interessantesten waren jedoch die Antworten auf die Frage „Was ist das Wichtigste, was Grenzeloos für Sie bedeutet hat?“:

• „Barista-Fähigkeiten erlernen, Niederländisch lernen, neue Leute kennenlernen“
• „Kontakt mit (anderen) Menschen, Niederländisch sprechen“
• „Soziale Kontakte, Niederländisch lernen mit den Gästen“
• "Alles"

Was wir über das Messen gelernt haben

1. Beginnen Sie mit dem, was Sie zu tun behaupten: Wir gingen davon aus, dass die Menschen mit uns Niederländisch lernen, selbstbewusster werden und ein Netzwerk aufbauen. Genau das haben wir gemessen. Einfach, aber effektiv.

2. Zahlen mit Geschichten kombinieren: Die Zahlen lieferten uns Trends und Vergleichbarkeit. Die offenen Fragen lieferten uns Kontext und Bedeutung. Beides war notwendig.

3. Eigene Einschätzung + Fremdeinschätzung: Wir haben sowohl Auszubildende als auch Lehrer nach ihrem Sprachniveau gefragt. Interessanterweise waren die Auszubildenden oft strenger mit sich selbst als wir mit ihnen.

4. Messen Sie das Wachstum, nicht nur das Endniveau: Anstatt zu fragen „Hat jemand das Niveau A2 erreicht?“ fragten wir „Wie sehr hat sich jemand weiterentwickelt?“ Das ergab ein realistischeres Bild unseres Beitrags.

5. Halten Sie es einfach: Unser erster Fragebogen umfasste 15 Fragen, was sowohl für die Auszubildenden als auch für unser Team zu bewältigen war.

Die Einschränkungen

Wir waren ehrlich darüber, was unsere Messungen nicht leisten konnten:

Kulturelle Voreingenommenheit: Menschen aus manchen Kulturen reagieren tendenziell positiver auf Organisationen, die ihnen helfen.

Sprachbarriere: Die Interviews wurden von unserem Team durchgeführt, was die Antworten beeinflusst haben könnte.

Kleine Gruppe: 8 Personen über 2 Monate sind keine statistisch signifikante Stichprobe.

Keine Kontrollgruppe: Wir wussten nicht, wie sich diese Menschen ohne Grenzeloos entwickelt hätten.

Aber es war ein Anfang.

Die unerwarteten Erkenntnisse

Auch die Messung selbst brachte uns unerwartete Erkenntnisse:

Zeitpunkt der Auswirkungen: Einige Effekte (Sprachwachstum) waren schnell sichtbar, andere (Abfluss zur Arbeit) dauerten viel länger.

Vielfalt der Bedürfnisse: Was für eine Person am wichtigsten war, war für eine andere weniger relevant.

Der Wert der Reflexion: Das eigene Stellen der Fragen half den Auszubildenden, über ihre eigene Entwicklung nachzudenken.

Was wir anders machen würden

Beginnen Sie vom ersten Tag an: Wir hätten 2019 mit einfachen Messungen beginnen können. Schon eine monatliche Frage „Wie geht es dir?“ hätte uns viele Daten geliefert.

Machen Sie es zu einem Teil des Prozesses: Machen Sie das Messen nicht zu einer zusätzlichen Aufgabe, sondern integrieren Sie es in regelmäßige Gespräche mit den Auszubildenden.

Messen Sie auch, was nicht funktioniert: Neben Erfolgen sind auch Misserfolge und Enttäuschungen sehr wertvolle Daten.

Der Praxisleitfaden

Für andere Sozialunternehmen, die mit der Wirkungsmessung beginnen möchten:

Schritt 1: Definieren Sie, was Sie zu tun behaupten

• Schreiben Sie auf, was Ihre Organisation erreichen soll
• Machen Sie dies so konkret wie möglich
• Konzentrieren Sie sich auf 3-5 Kerneffekte

Schritt 2: Messbare Indikatoren wählen

• Für jeden Effekt: Wie könnten Sie messen, ob er eintritt?
• Mischen Sie quantitative und qualitative Fragen
• Halten Sie es einfach und überschaubar

Schritt 3: Beginnen Sie mit einer Basislinie

• Messen Sie die Ausgangslage Ihrer Teilnehmer
• Dies kann so einfach sein wie ein Aufnahmegespräch
• Erfassen Sie, wo die Leute anfangen

Schritt 4: Regelmäßig messen

• Nicht nur am Ende, sondern auch zwischendurch
• Gibt Ihnen Einblick in den Prozess, nicht nur in das Ergebnis
• Hilft Ihnen, Anpassungen vorzunehmen, wenn etwas nicht funktioniert

Schritt 5: Analysieren und anpassen

• Schauen Sie nicht nur auf die Zahlen, sondern auch auf ihre Bedeutung
• Besprechen Sie die Ergebnisse mit Ihrem Team
• Nutzen Sie Erkenntnisse, um Ihren Ansatz zu verbessern

Die Werkzeuge, die funktionieren

Fragebögen: Einfach, vergleichbar, skalierbar. 

Interviews: Tiefere Einblicke, persönliche Geschichten. 

Beobachtung: Was sehen Sie in der Praxis geschehen? 

Externe Daten: Wegzug zur Arbeit, Leistungsstopp usw. 

Feedback von Partnern: Was sehen Berater, Arbeitgeber usw.?

Die große Erkenntnis

Nachdem wir mit dem Messen begonnen hatten, war unsere wichtigste Erkenntnis: Messen macht Ihre Organisation besser. Nicht, weil Zahlen heilig sind, sondern weil es Sie zwingt, darüber nachzudenken, was Sie wirklich tun und warum.

Wir stellten fest, dass sich manche Dinge, auf die wir stolz waren (unsere Kompetenz-App), nur schwer in messbare Ergebnisse umsetzen ließen. Und andere Dinge, die wir für selbstverständlich hielten (die herzliche Atmosphäre), erwiesen sich als entscheidend für den Erfolg der Mitarbeiter.

Durch das Messen konnten wir nicht nur Antworten, sondern vor allem bessere Fragen gewinnen.

Der Realitätscheck

Wirkungsmessung ist nicht gerade glamourös. Sie kostet Zeit, Energie und konfrontiert einen manchmal mit unangenehmen Wahrheiten. Doch die Alternative – zu raten, ob man tatsächlich etwas bewirkt – ist schlimmer. Denn ohne Daten kann man sich nicht verbessern, nicht begründen und letztlich nicht beweisen, dass sich die Investition in sein Unternehmen lohnt.

Für uns war das Messen letztlich keine bürokratische Verpflichtung, sondern eine Möglichkeit, das zu verbessern, was uns am wichtigsten erschien: den Menschen wirklich zu helfen.

Im nächsten Blog tauchen wir in die harte Realität ein, die die Führung eines Restaurants als Sozialunternehmen mit sich bringt: Warum sich niedrige Margen und hohe Supportkosten als schwierige Kombination erweisen.