GENERAL GUIDELINES

No.	Bagian	Deskripsi
No.	Bagian	Deskripsi
1	Judul	Pada bagian judul, perlu diidentifikasi bahwa dokumen adalah realist evaluation.
2	Ringkasan atau abstrak	Artikel jurnal biasanya akan memerlukan abstrak, sementara laporan dan bentuk publikasi lainnya biasanya cenderung menggunakan sebuah ringkasan singkat. Baik abstrak maupun ringkasan harus mencakup rincian singkat tentang: kebijakan, program atau inisiatif yang sedang dievaluasi; setting program; tujuan evaluasi; pertanyaan evaluasi dan/ atau tujuan; strategi evaluasi; pengumpulan data, dokumentasi dan metode analisis; temuan kunci dan kesimpulan. Terkadang, deskripsi singkat tentang responden dalam proses evaluasi serta teknik dan proses pengambilan sampel juga dapat disertakan apabila jurnal yang dituju membutuhkannya, dan sifat studinya sesuai dengan kriteria yang diharapkan jurnal tersebut. Rincian yang memadai harus diberikan untuk mengidentifikasi bahwa pendekatan realis telah digunakan dan teori program realis telah dikembangkan dan/ atau disempurnakan.
3	Pendahuluan
	Dasar/pertimbangan melakukan evaluasi	Jelaskan tujuan dilakukannya evaluasi dan implikasinya terhadap fokus serta desain yang digunakan.
	Teori program	Jelaskan teori awal program atau teori yang mendukung program, kebijakan atau inisiatif.
	Pertanyaan evaluasi, tujuan dan fokus	Sebutkan pertanyaan evaluasi dan tentukan tujuan evaluasi. Jelaskan apa dan bagaimana teori program digunakan untuk menentukan ruang lingkup dan fokus evaluasi.
	Persetujuan etik	Nyatakan apakah realist evaluation diperlukan dan mendapat persetujuan etik dari komite/ otoritas terkait, berikan rincian yang sesuai. Jika persetujuan etik dianggap tidak perlu, jelaskan mengapa tidak diperlukan.
4	Metode
	Dasar/pertimbangan menggunakan realist evaluation	Jelaskan mengapa pendekatan realist evaluation dipilih atau diadaptasi/ disesuaikan.
	Lingkungan sekitar evaluasi	Jelaskan kondisi/ suasana lingkungan tempat evaluasi berlangsung.
	Penjelasan kebijakan program, inisiatif atau produk yang dievaluasi	Berikan rincian yang relevan mengenai program, kebijakan atau inisiatif yang dievaluasi.
	Penjelasan dan justifikasi desain evaluasi	Deskripsi dan justifikasi rancangan evaluasi (yaitu laporan tentang apa yang direncanakan, dilakukan dan mengapa) harus disertakan, setidaknya dalam bentuk ringkasan atau sebagai lampiran dalam dokumen yang menyajikan temuan utama. Jika hal ini tidak dilakukan, maka harus ada justifikasinya serta referensi desain evaluasi harus dicantumkan. Mungkin juga dokumen atau protokol aslinya diterbitkan atau disediakan secara gratis (misalnya online di situs web) sehingga dapat diakses oleh pembaca.
	Metode pengumpulan data	Jelaskan dan berikan justifikasi metode pengumpulan data mana yang digunakan, mengapa dan bagaimana caranya responden/ informan dilibatkan dalam proses pengembangan, dukungan, penolakan atau penyempurnaan teori program. Berikan rincian langkah-langkah yang diambil untuk meningkatkan kredibilitas proses pengumpulan data dan dokumentasi.
	Proses rekrutmen dan strategi pengambilan sampel	Jelaskan bagaimana responden dalam evaluasi direkrut atau dilibatkan dan bagaimana sampel dapat memberikan kontribusi terhadap pengembangan, dukungan, penolakan atau penyempurnaan teori program.
	Analisis data	Jelaskan secara rinci bagaimana data dianalisis. Bagian ini harus mencakup informasi tentang konstruksi yang diidentifikasi, proses analisis, bagaimana teori program dikembangkan lebih lanjut, didukung, disanggah dan disempurnakan, dan (jika relevan) bagaimana analisis berubah apabila evaluasi tidak dikembangkan.

File selengkapnya

download

Judul

No.	Bagian	Deskripsi	Terdapat dalam Dokumen			Hal.
No.	Bagian	Deskripsi	Ya	Tidak	Belum Jelas	Hal.
1	Judul	Pada bagian judul, perlu diidentifikasi bahwa dokumen adalah realist evaluation.

Reportase: Penyusunan Proposal Monev JKN Menggunakan Realist Evaluation

Agenda ini merupakan salah satu langkah awal yang dilakukan oleh PKMK FK UGM dan Perguruan Tinggi mitra untuk melaksanakan mekanisme evaluasi pada kebijakan di era Jaminan Kesehatan Nasional. Agenda evaluasi JKN 2018 ini dilaksanakan di FK UGM pada tanggal 8 Februari 2018 dan disampaikan melalui webinar. Agenda ini dibuka langsung oleh Prof. Laksono Trisnantoro MSc PhD dan dilanjutkan pemaparan materi tentang Realistic Evaluation oleh dr. Tiara Marthias, MPH selaku peneliti dan konsultan dari PKMK FK UGM. Secara garis besar, sesi ini menyampaikan pentingnya pelaksanaan evaluasi pada kebijakan sistem JKN melalui pendekatan Realistic Evaluation. Program ini diikuti langsung oleh peneliti, mahasiswa, praktisi dan mitra perguruan tinggi PKMK UGM.

Pada sesi awal, Prof. Laksono Trisnantoro MSc PhD menyampaikan bahwa saat ini diperlukan adanya langkah konkret dalam perbaikan kebijakan di era JKN yang berjalan masih belum optimal. Langkah strategis yang dapat dilaksanakan adalah melakukan penelitian evaluatif terhadap program JKN dengan pendekatan realist evaluation. Saat ini merupakan langkah yang tepat dalam merumuskan penelitian yang dimaksudkan untuk menjadi masukkan pagi Pemerintah atau policy maker di tahun politik. Hal ini menjadi dasar tentang urgensi dalam menjawab momen yang krusial dengan penelitian evaluatif strategis dalam upaya perbaikan kualitas sistem JKN. Prof Laksono Trisnantoro memaparkan bahwa agenda ini merupakan program brainstorming pada lembaga partner atau Universitas mitra untuk membangun perumusan penelitian kebijakan melalui realist evaluaion. Di lain sisi, agenda ini menjadi momen untuk pemaparan pemanfaatan teori realist evaluation pada Perguruan Tinggi mitra untuk merumuskan penelitian evaluasi kebijakan JKN. Selain itu Prof Laksono Trisantoro MSc PhD menyampaikan bahwa program ini dapat disinkronkan dengan peningkatan kapasitas lembaga partner dalam program analis kebijakan yang dapat disupervisi oleh Lembaga Administrasi Negara.

Sesi kedua dilanjutkan dengan pemaparan teori Realist Evaluation oleh dr. Tiara Marthias, MPH. Realist evaluation merupakan pendekatan evaluatif yang praktis dalam menjawab kompleksitas sistem kebijakan khususnya dalam frame kebijakan kesehatan indonesia di era JKN. Secara sederhana, realist evaluation dapat menjawab evaluasi program dengan lebih mendalam. Hal tersebut dapat menjelaskan secara detail tentang apa program yang efektif, untuk siapa, dalam koteks apa hingga bagaimana program tersebut berjalan. Konsep realist evaluation dikembangkan melalui konfigurasi context, mechanism dan outcome (C-M-O). Context menjelaskan tentang aspek karakteristik populasi, jenis organisasi, SDM hingga kultur. Sedangkan pada mechanism, aspek ini lebih memaparkan tentang proses yang muncul akibat interaksi program yang spesifik. Pada outcome, aspek yang dikaji yakni mengenai perubahan yang terjadi akibat interaksi antara context dan mechanism. Sehingga, dengan konfigurasi C-M-O, realist evaluation dapat menjelaskan dengan mendalam tentang program apa yang belum optimal, kepada kelompok sosial apa, kondisi dan pola proses. Oleh karena itu, relist evaluation memiliki keunggulan dalam menangkap kesimpulan evaluatif pada suatu program dengan lebih rinci.

Beberapa diskusi yang muncul antara lain seputar skema pendanaan penelitian, topik yang diusung, keterlibatan mahasiswa pascasarjana dan perguruan tinggi lain, serta beberapa teori yang mendukung penelitian evaluasi JKN dengan pendekatan realist evaluation. Menanggapi hal ini, narasumber menyampaikan bahwa skema pendanaan penelitian ini sangat fleksibel menggunakan dana apapun, misalnya dana penelitian DIKTI, maupun skema filantropisme yang lain. Bagi perguruan tinggi yang telah memiliki skema pendanaan di tahun 2018, sangat diharapkan dapat melakukan penelitian evaluasi JKN ini di tahun 2018. Sementara itu, bagi perguruan tinggi yang belum siap, diperkenankan untuk memulai penelitian di tahun 2019. Protokol penelitian evaluasi JKN ini akan dikembangkan bersama-sama melalui kegiatan webinar, sementara itu teknis pelaksanaannya di daerah disesuaikan dengan konteks masing-masing. Keterlibatan mahasiswa pascasarjana juga sangat diharapkan untuk memperluas cakupan evaluasi, baik itu wilayah, konteks, maupun aspek yang lainnya. Adapun beberapa teori yang mendukung penelitian dengan pendekatan ini akan digali lebih dalam pada pertemuan-pertemuan berikutnya ketika penyusunan proposal sudah berjalan.

Selain itu, beberapa audiens juga menanyakan terkait goal dari penelitian evaluasi dengan pendekatan realist evaluation. Narasumber menyampaikan bahwa tidak menutup kemungkinan hasil dari penelitian evaluasi menggunakan metode realist evaluation adalah berupa middle-range theory. Hal ini disebabkan karena unit analisis dalam penelitian dengan pendekatan realist evaluation adalah teori yang mendasari program yang sedang dievaluasi. Tidak hanya itu, hasil penelitian ini juga dapat berupa pengembangan kebijakan baru berdasarkan rekomendasi penelitian yang telah dilakukan.

Di akhir sesi, narasumber bersama-sama dengan audiens menyepakati beberapa aspek. Hal tersebut diantaranya, PKMK UGM dan Perguruan Tinggi mitra menyepakati tentang perumusan penelitian mengenai evalusai kebijakan JKN melalui relist evaluation. Di sisi lain, agenda tersebut akan disinkronkan dan dioptimalkan melalui program peningkatan kapasitas SDM lembaga dan Perguruan Tinggi untuk dilatih menjadi Analis Kebijakan sesuai dengan modul dari lembaga Administrasi Negara dan KSI. Prof. Laksono Trisnantoro MSc PHD menyimpulkan bahwa ini merupakan momentum tepat dalam mengevaluasi kebijakan JKN di tiap daerah melalui realist evaluation yang dikembangkan langsung oleh perguruan tinggi di daerah. Area evaluasi kebijakan pada program JKN memiliki scope yang sangat luas untuk diteliti sebagai upaya perbaikan program kebijakan JKN yang lebih baik.

Reporter Nopryan Ekadinata

Pendaftaran

Bagi Perguruan Tinggi yang ingin berpartisipasi dalam penyusunan proposal dan melakukan penelitian di tahun 2018 dan 2019, silahkan untuk dapat mendaftar dengan klik di sini:

Pendaftaran Evaluasi JKN 2018

Referensi

Arsip Diskusi Seminar

Artikel Jurnal

Westhorp, G. (2014). Realist Impact Evaluation An Introduction. Research and Policy Development, (September), 1GÇô12.
Adams, A., Sedalia, S., McNab, S., & Sarker, M. (2016). Lessons learned in using realist evaluation to assess Maternal and Newborn health programming in rural Bangladesh. Health Policy and Planning, 31(2), 267–275.
Dieleman, M., Gerretsen, B., & van der Wilt, G. J. (2009). Human resource management interventions to improve health workers’ performance in low and middle income countries: A realist review. Health Research Policy and Systems, 7, 1–13.
Djellouli, N., Mann, S., Nambiar, B., Meireles, P., Miranda, D., Barros, H., ... Colbourn, T. (2017). Improving postpartum care delivery and uptake by implementing context- specific interventions in four countries in Africa : a realist evaluation of the Missed Opportunities in Maternal and Infant Health ( MOMI ) project, 1–14.
Gopalan, S. S., Das, a, & Mutasa, R. (2014). What makes Health Demand-Side Financing Schemes Work in Low-and Middle-Income Countries? A Realist Review. J Public Health Res, 3(3), 304.
Greenhalgh, T., Harvey, G., Pawson, R., Greenhalgh, T., Harvey, G., & Walshe, K. (2005). Realist review - A new method of systematic review designed for complex policy interventions Realist review – a new method of systematic review designed for complex policy interventions, 10(August), 21–35.
Greenhalgh, T., Wong, G., Jagosh, J., Greenhalgh, J., Manzano, A., Westhorp, G., & Pawson, R. (2015). Protocol-the RAMESES II study: Developing guidance and reporting standards for realist evaluation. BMJ Open, 5(8).
Pawson, R., & Tilley, N. (2002). Realistic Evaluation Bloodlines. American Journal of Evaluation, 22(3), 317–324.
Pawson, R., & Tilley, N. (2004). Realist Evaluation. London.
Tilley, N., & Pawson, R. (2000). Realistic Evaluation: An Overview. The British Journal of Sociology, 49(September), 331.
Wong, G., Westhorp, G., Manzano, A., Greenhalgh, J., Jagosh, J., & Greenhalgh, T. (2016). RAMESES II reporting standards for realist evaluations. BMC Medicine, 14(1), 1–18.

Link Terkait

The RAMESES Project

Buku


Pawson, R., & Tilley, N. (1997). Realistic Evaluation.	Lembaga Administrasi Negara. (2015). Modul Pelatihan Analis Kebijakan. Jakarta: Lembaga Administrasi Negara.	Republik Indonesia. (2012). Peta Jalan Menuju Jaminan Kesehatan Nasional 2012-2019. Jakarta.

Pawson, R. (2004). A Measure for Measures A Manifesto for Empirical Sociology (29th ed.)	Pawson, R. (2006). Evidence-Based Policyn+ÜA Realist Perspective (1st ed.)

Apa yang Akan Dilakukan?

PKMK FK-KMK UGM mengundang perguruan tinggi se Indonesia untuk menyusun Proposal Evaluasi Kebijakan dengan menggunakan Metode Realist Evaluation. Kegiatan ini akan dijalankan pada tahun 2018 - 2019.

Tahun 2018	Kegiatan Utama	Tanggal	Topik Diskusi
Januari	Penyusunan proposal dengan menggunakan Realist Evaluation		Evaluasi Jaminan Kesehatan Nasional Menggunakan Realist Evaluation materi
Februari		Pertemuan 1 Sesi 1: 8 Februari 2018 reportase Pertemuan 2 Sesi 2: 23 Februari 2018 reportase Pertemuan 3 Sesi 1: 27 Februari 2018 reportase	Sesi Refreshment Realist Evaluation Perumusan Masalah materi Sesi Refreshment Realist Evaluation Perumusan Masalah Penyusunan Kerangka Protokol Realist Evaluation Mengacu pada Standar RAMESES II Identifikasi program logic, teori, dan pertanyaan penelitian materi
Maret		Pertemuan 3 Sesi 2: 13 maret 2018 Pertemuan 4 28 Maret 2018 reportase	Identifikasi program logic, teori, dan pertanyaan penelitian dalam Realist Evaluation materi Penyusunan kerangka C-M-O (context-mechanism-outcome) materi
April		Pertemuan 4-b 10 April 2018 Pertemuan 5 24 April 2018	Penyusunan kerangka C-M-O (context-mechanism-outcome) Perumusan metode pengumpulan data dan analisis untuk theory testing
Mei	Penyusunan proposal dan penggalian dana	Pertemuan 6 9 Mei 2018 Pertemuan 7 24 Mei 2018	Update Penulisan Proposal Evaluasi JKN
Juni	Pelaksanaan penelitian	Pertemuan 8 4 Juni 2018 26 Juni 2018	Update Penulisan Proposal Evaluasi JKN dengan Pendekatan Realist Evaluation Update identifikasi program logic, kerangka C-M-O, dan instrumen penelitian
Juli		31 Juli 2018	Update proses pengumpulan data (1)
Agustus		28 Agustus 2018	Update proses pengumpulan data (2)
September	Penyajian data awal	25 September 2018	Update analisis data dan theory testing
Oktober		30 Oktober 2018	Presentasi hasil evaluasi dan theory testing (1)
November		27 November 2018	Update hasil theory refinement
Desember		18 Desember 2018	Pembahasan hasil evaluasi dan rekomendasi kebijakan
Januari-Desember 2019	Melakukan evaluasi secara lebih luas	-	-

Evaluasi JKN Tahun 2018

evjknhead

Overview

Pelaksanaan Jaminan Kesehatan Nasional (JKN) di tahun 2018 telah memasuki tahun kelima. Hasil monitoring dan riset-riset di berbagai Wilayah menunjukkan adanya variasi pelaksanaan di Indonesia. Kebijakan tingkat provinsi/ kabupaten/ kota, faktor geografis, keanekaragaman sosial-budaya, kemampuan ekonomi masyarakat serta konteks yang berbeda-beda di masing-masing wilayah mempengaruhi mulus atau tidaknya pelaksanaan JKN di masing-masing kabupaten/ kota.

Evaluasi Kebijakan JKN penting dilakukan untuk mengidentifikasi dan memahami kebijakan dan program terkait JKN. Apa yang berhasil, mengapa berhasil, serta dalam konteks seperti apa kebijakan dijalankan.

Evaluasi kebijakan ini diharapkan dapat memberi masukan ke pemerintah untuk menyempurnakan kebijakan di level UU, PP ataupun regulasi di bawahnya, Mengingat tahun 2018 dan tahun 2019 adalah tahun politik maka diproyeksikan hasil Evaluasi Kebijakan ini akan diberikan kepada Presiden terpilih dan anggota DPR baru hasil pemilihan umum 2019. Sementara itu hasil sementara akan disampaikan ke berbagai pihak.

Metode Apa yang digunakan?

Setelah melakukan berbagai pertimbangan, Evaluasi Kebijakan perlu menggunakan metode Realist Evaluation. Metode ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Dengan melaksanakan realist evaluation, diharapkan masing-masing kabupaten/kota dapat mengambil pelajaran dari pelaksanaan JKN dalam 4 tahun terkahir serta mengidentifikasi faktor pendukung serta penghambat pelaksanaan kebijakan JKN. Hasil evaluasi ini juga dapat dijadikan pelajaran bagi kabupaten/kota lainnya, bahkan di negara lain dengan konteks yang mirip dengan Indonesia.

Download Leaflet