Testing realist program theory – quantitative and qualitative impact evaluation

Andrew Hawkins, ARTD Consultants, Australia
Brisbane, 25 Oktober 2017

Prinsip dari pendekatan realist evaluation kembali ditekankan pada sesi ini dengan kaitannya pada kelebihan yang dapat ditawarkan sebagai solusi kepada pembuat kebijakan. Pertama, pendekatan ini mengidentifikasi untuk siapa dan pada situasi seperti apa mekanisme tertentu dapat mempegaruhi outcome. Pendekatan ini menghindari satu solusi untuk semua, tetapi mengidentifikasi konteks tertentu dimana beberapa mekanisme tertentu bekerja dan dapat berpengaruh langsung ataupun tidak langsung terhadap outcome yang diharapkan. Kedua, pendekatan ini dapat mengidentifikasi faktor-faktor yang penting untuk implementasi intervensi di masa depan. Ketiga, pada kasus di mana intervensi dinilai gagal, pendekatan ini dapat membantu mengidentifikasi penyebab kegagalan intervensi tersebut. Keempat, memastikan adanya pendekatan ilmiah untuk kebijakan berbasis bukti. Pendekatan realist evaluation mengidentifikasi middle-range theories yang batasnya diartikan sebagai tidak sama spesifiknya dengan spesifik konteks dan tidak dapat tertransfer, tetapi tidak seabstrak sesuatu yang tidak informatif dan tidak dapat dites atau dibuktikan. Kelima, pendekatan ini dapat memberikan laporan tentang mekanisme intervensi yang menjadi penyebab perubahan terkait outcome dan bukan output. Sehingga fokus stakeholders dapat mengarah pada pencapaian outcome ini yang kemudian diaplikasikan ke dalam kegiatan perencanaan dan implementasi.

Dalam membandingkan impact evaluation dengan realist impact evaluation dapat diibaratkan bahwa realist impact evaluation adalah mikroskop sedangkan traditional impact evaluation itu teleskop. Hal ini menunjukkan realist impact evaluation menggambarkan situasi yang lebih detil dengan kemampuan menunjukkan setiap komponennya, proses kerjanya dan interaksi antar komponen. Lebih lanjut, realist evaluation dibandingkan dengan RCT, yang merupakan gold standard di metode penelitian, menunjukan betapa RCT lebih kuat dalam menunjukan dasar ilmiah namun kerap kehilangan makna ketika implementasi terutama dalam skala kebijakan yang berdampak luas. Hal ini disebabkan generalisasi dari hasil RCT dengan menciptakan situasi ideal demi melihat dampak intervensi terhadap outcome dinilai tidak cukup mampu mengidentifikasi konteks nyata di lapangan.

Pertanyaan besar kemudian muncul bagaimana membuat realist evaluation menjadi pendekatan ilmiah, dimana peran kreativitas dan kemampuan analisis evaluator memiliki peran besar dalam mengidentifikasi konteks, mekanisme dan outcome pada pendekatan ini. Beberapa langkah disebutkan oleh pembicara, sebagai berikut:

  1. Pengembangan teori-teori merupakan pokok dalam pelaksanaan realist evaluation.
  2. Interview dan temuan berupa perbedaan antar program memberikan stimulus untuk merumuskan teori.
  3. Perlu pemahaman untuk melakukan tes terhadap ide kita/evaluator. Terdapat tiga poin yang perlu diperhatikan yaitu, critical realism melalui debat, realist evaluation dengan melakukan tes Mechanisms, Contexts, and Outcomes (MCOs), dan berhati-hati untuk tidak overfitting data yang ada yang berdampak pada terlalu menyederhanakan kausal dari masalah apabila terlalu mengandalkan kreativitas pemikiran dan perbedaan antar program.

Reportase topik terkait:

Reportase oleh: Dhini Rahayu Ningrum & Tiara Marthias

 {jcomments on}

  • toto
  • bandar togel 4d
  • live draw sgp
  • togel4d
  • slot777
  • scatter hitam
  • togel online
  • toto 4d/
  • toto slot
  • slot dana
  • bandar slot
  • scatter hitam
  • slot dana
  • slot resmi
  • bandar slot resmi
  • bandar slot
  • slot resmi
  • agen toto
  • slot dana
  • deposit 5000
  • login togel4d
  • link gacor
  • toto slot
  • situs slot
  • slot online
  • togel online
  • slot gacor
  • totoslot
  • wengtoto
  • bandar togel
  • toto slot
  • rajabandot
  • resmi 777
  • situs bandar slot
  • agen slot
  • bandar slot
  • slot online
  • bandar slot terbaik
  • slot resmi
  • slot88
  • slot 1000
  • jp togel
  • slot resmi terpercaya
  • slot gacor
  • slot resmi
  • slot online
  • rajabandot
  • togel4d
  • togel4d
  • togel4d
  • slot kasih maxwin
  • sultan slot
  • slot gacor bagi thr
  • bandar slot
  • slot777
  • slot asia
  • tototogel
  • jptogel
  • slot 1000
  • bandar slot asia
  • bandar slot terbesar
  • bandar slot gacor
  • situs bandar slot
  • slot online
  • toto 5000
  • href="https://www.socnatural.com/">toto5000 href="https://twsocial.co.uk/">slot asia href="https://vatrefundagency.co.za/">slot online resmi