Ölçmek Bilmektir: Gerçek Etki Arayışımız

"Gerçekten bir etki yarattığınızı nasıl anlarsınız?"

Bu soru bana 2022'de potansiyel bir finansörle yaptığım bir sohbet sırasında soruldu. Cevabım hikayelerle doluydu: Omar'ın daha özgüvenli hale gelmesi, Yara'nın Hollanda hayallerini gerçekleştirmesi, Mohammed'in Hollandalı meslektaşlarını tanıması. (isimler hayal ürünüdür)

"Peki sizin rakamlarınız neler?" diye sordu.

Sessizlik.

Harika hikayelerimiz, mutlu stajyerlerimiz ve gerçekten bir fark yarattığımız hissiyatımız vardı. Peki ya somut veriler? Bunlara sahip değildik.

Hikaye Sorunu

Üç yıl boyunca Grenzeloos hikayeler ve sezgiler üzerine çalıştı. İnsanların büyüdüğünü gördük, olumlu geri bildirimler duyduk ve yaklaşımımızın işe yaradığını hissettik. Belediyeden gelen danışmanlar memnundu, stajyerler yörüngelerinden sonra kahve içmek için geri geldiler ve işe düzenli olarak iyi bir akış sağladık.

Kendimiz için bu yeterli bir kanıttı. Meşguldük, insanlara yardım ediliyordu, daha ne isteyebilirdik ki?

Sorun şu ki hikayeler ölçeklenmiyor. Etkimizi açıklamak zorunda kaldığımız her seferinde aynı eski anekdotları anlattık. Finansörler trendleri görmek istiyordu. Ortaklar karşılaştırılabilir veriler istiyordu. Ve biz kendimiz düşündüğümüz kadar etkili olup olmadığımızı sorgulamaya başladık.

Uyanma Çağrısı

2023 yılında, sosyal girişimlerin etkilerini ölçmelerine yardımcı olmak için özel olarak tasarlanmış bir program olan Grant Thornton'un Etki Seferi'ne katılmamız istendi.

İlk atölye bizi durdurup gerçekler hakkında düşünmeye sevk etti. Değişim Teorimizi - faaliyetlerimizin amaçlanan etkiye nasıl yol açtığının hikayesini - açıklamak zorundaydık. Bir fikrimiz vardı, ancak oldukça belirsizdi:

“Çalışma-öğrenme programı sunuyoruz → insanlar Hollandaca ve beceriler öğreniyor → iş buluyorlar → daha iyi uyum sağlıyorlar.”

"Peki bu adımların gerçekten gerçekleştiğini nasıl biliyorsun?" diye sordu eğitmen.

Güzel bir soru. 

İlk Ölçümler

Basit bir şekilde başlamaya karar verdik. Karmaşık bir sistem kurmak yerine, kursiyerlerimize basitçe sorular sorduk.

Görüşme şeklinde uyguladığımız bir anket geliştirdik:

• Hollandaca dil yeterliliğinizi nasıl değerlendiriyorsunuz? (Kendi değerlendirmeniz ve öğretmeninizin değerlendirmesi)
• Son birkaç haftada kaç kişiyle Felemenkçe konuştunuz?
• Hollandaca'daki en uzun konuşmanız ne kadar sürdü?
• Hollanda'da tanıdığınız insan sayısı hakkında ne düşünüyorsunuz?
• Felemenkçe öğrenirken Grenzeloos sizin için ne kadar önemli?
• Grenzeloos'nin sizin için ifade ettiği en önemli şey nedir?

Devrimsel bir şey yok ama iddia ettiğimiz şeylerle ilgili somut sorular var.

Şaşırtıcı Sonuçlar

İki ay sonra aynı anketi 8 kursiyere tekrar uyguladık. Sonuçlar şaşırtıcı derecede olumluydu:

Dil gelişimi: Ortalama olarak, insanlar iki ayda dil seviyelerinin dörtte birini geliştirdiler. Konuşma ve anlama özellikle hızlı bir şekilde gelişti.

Değerleme: Katılımcılar, Grenzeloos'nin Hollandaca öğrenmedeki önemi nedeniyle 10 üzerinden ortalama 9 puan verdiler.

Ağ etkisi: Daha az net ölçülebilir, ancak açık cevaplarda görülebilir.

Ancak en ilgi çekici olanı "Grenzeloos sizin için en önemli şey nedir?" sorusuna verilen yanıtlardı:

• “Barista becerilerini öğrenin, Felemenkçe öğrenin, yeni insanlarla tanışın”
• “(Diğer) insanlarla temas, Hollandaca konuşma”
• “Sosyal temas, misafirlerle Felemenkçe konuşmayı öğrenmek”
• "Her şey"

Ölçme Hakkında Öğrendiklerimiz

1. İddia ettiğiniz şeyle başlayın: İnsanların bizimle birlikte Felemenkçe öğrendiğini, daha özgüvenli hale geldiğini ve bir ağ kurduğunu iddia ettik. Bu yüzden ölçmeye başladığımız şey bu oldu. Basit ama etkili.

2. Sayıları hikayelerle birleştirin: Rakamlar bize eğilimleri ve karşılaştırılabilirliği verdi. Açık sorular bize bağlam ve anlam verdi. Her ikisi de gerekliydi.

3. Kendi değerlendirmemiz + dış değerlendirme: Hem kursiyerlere hem de öğretmenlere dil seviyesi hakkında sorular sorduk. İlginçtir ki, kursiyerler kendilerine karşı bizim onlara davrandığımızdan daha katıydı.

4. Sadece nihai seviyeyi değil, büyümeyi de ölçün: "Birisi A2 seviyesine ulaştı mı?" diye sormak yerine "Birisi ne kadar büyüdü?" diye sorduk. Bu, katkımızın daha gerçekçi bir resmini verdi.

5. Basit tutun: İlk anketimiz hem kursiyerlerin hem de ekibimizin rahatlıkla yönetebileceği 15 sorudan oluşuyordu.

Sınırlamalar

Ölçümlerimizin neyi yapamayacağı konusunda dürüsttük:

Kültürel önyargı:Bazı kültürlerdeki insanlar kendilerine yardım eden kuruluşlara daha olumlu yaklaşma eğilimindedir.

Dil engeli: Röportajlar ekibimiz tarafından gerçekleştirildiği için cevapları etkilemiş olabilir.

Küçük grup: 2 ay boyunca 8 kişiyle yapılan örneklem istatistiksel olarak anlamlı değildir.

Kontrol grubu yok: Grenzeloos olmadan bu insanların nasıl gelişeceğini bilmiyorduk.

Ama bu bir başlangıçtı.

Beklenmedik İçgörüler

Ölçümün kendisi bize beklemediğimiz içgörüler de verdi:

Etki zamanlaması:Bazı etkiler (dil gelişimi) hemen görüldü, diğerleri (işe yansıma) çok daha uzun sürdü.

İhtiyaçlardaki çeşitlilik:Bir kişi için en önemli olan şey, bir başkası için daha az önemli olabilir.

Yansımanın değeri: Soruların kendilerine sorulması, katılımcıların kendi gelişimleri üzerinde düşünmelerine yardımcı oldu.

Farklı Olarak Ne Yapardık?

Birinci günden başlayın: 2019'da basit ölçümlerle başlayabilirdik. Aylık bir "Nasılsın?" sorusu bile bize çok fazla veri sağlardı.

Bunu sürecin bir parçası haline getirin: Ölçümü ek bir görev haline getirmek yerine, bunu kursiyerlerle düzenli sohbetlerin bir parçası haline getirin.

Ayrıca neyin işe yaramadığını da ölçün: Başarıların yanı sıra başarısızlıklar ve hayal kırıklıkları da çok değerli verilerdir.

Pratik Rehber

Etki ölçümüne başlamak isteyen diğer sosyal girişimler için:

Adım 1: Ne yaptığınızı iddia ettiğinizi tanımlayın

• Kuruluşunuzun neyi başarması gerektiğini yazın
• Bunu mümkün olduğunca somut hale getirin
• 3-5 temel etkiye odaklanın

Adım 2: Ölçülebilir göstergeler seçin

• Her bir etki için: bunun gerçekleşip gerçekleşmediğini nasıl ölçebilirsiniz?
• Nicel ve nitel soruları birleştirin
• Basit ve yönetilebilir tutun

Adım 3: Bir temel çizgiyle başlayın

• Katılımcılarınızın başlangıç pozisyonunu ölçün
• Bu, bir giriş görüşmesi kadar basit olabilir
• İnsanların başladığı yeri yakalayın

4. Adım: Düzenli ölçüm yapın

• Sadece sonunda değil, aynı zamanda arada da
• Sadece sonucu değil, süreci de anlamanızı sağlar
• Bir şey işe yaramadığında ayarlamalar yapmanıza yardımcı olur

Adım 5: Analiz edin ve ayarlayın

• Sadece sayılara bakmayın, bunların ne anlama geldiğine bakın
• Sonuçları ekibinizle tartışın
• Yaklaşımınızı iyileştirmek için içgörüleri kullanın

Çalışan Araçlar

Anketler: Basit, karşılaştırılabilir, ölçeklenebilir. 

Röportajlar: Daha derin bakış açıları, kişisel hikayeler. 

Gözlem:Pratikte neler olacağını düşünüyorsunuz? 

Dış veriler: İşe çıkış, yardımların dondurulması, vb. 

Ortaklardan gelen geri bildirimler: Danışmanlar, işverenler vs. ne görüyor?

Büyük İçgörü

Ölçmeye başladıktan sonra, en büyük içgörümüz şu oldu: Ölçmek sizi daha iyi bir organizasyon yapar. Sayılar kutsal olduğu için değil, sizi gerçekte ne yaptığınızı ve neden yaptığınızı düşünmeye zorladığı için.

Gurur duyduğumuz bazı şeylerin (yeterlilik uygulamamız) ölçülebilir etkiye dönüştürülmesinin zor olduğunu keşfettik. Ve hafife aldığımız diğer şeylerin (sıcak atmosfer) insanların başarısı için çok önemli olduğu ortaya çıktı.

Ölçmek bize sadece cevaplar değil, her şeyden önce daha iyi sorular da verdi.

Gerçeklik Kontrolü

Etkiyi ölçmek göz alıcı değildir. Zaman, enerji alır ve bazen sizi rahatsız edici gerçeklerle yüzleştirir. Ancak alternatif - etki yaratıp yaratmadığınızı tahmin etmek - daha kötüdür. Çünkü veriler olmadan gelişemezsiniz, hesap veremezsiniz ve nihayetinde işinizin yatırıma değer olduğunu kanıtlayamazsınız.

Bizim için ölçüm yapmak bürokratik bir zorunluluk değil, en önemli bulduğumuz şeyde daha iyi olmanın bir yoluydu: İnsanlara gerçekten yardım etmek.

Bir sonraki blog yazımızda, bir sosyal girişim olarak restoran işletmenin acı gerçeklerine değineceğiz: Neden düşük marjlar ve yüksek destek maliyetleri zor bir kombinasyon olarak ortaya çıkıyor.