PROSES DAN TEKNIK-TEKNIK EVALUASI

a.    Proses Evaluasi

Mengapa pengetahuan mengenai proses evaluasi sangat penting?  Proses evaluasi yang baik dapat memberikan kerangka kerja (blueprint) yang jelas bagi tim evaluasi dalam menjalankan tugasnya. Pengalaman menunjukkan bahwa proses evaluasi sangat menentukan kualitas,. relevansi dan kegunaan hasil evaluasi (World Bank, 2002). Evaluasi dapat dilakukan melalui beberapa langkah kegiatan. Langkah-langkah kegiatan ini tidak bersifat kaku, namun dapat disesuikan dengan keadaan dan kebutuhan. Sebagai acuan, ada 10 langkah pelaksanaan evaluasi (lihat USAID, 1996).

1)      Menentukan jenis-jenis dan skope atau ruang lingkup kegiatan yang akan dinilai. Pada tahap ini harus ditentukan apakah kegiatan yang akan dievaluasi bersifat tunggal atau terdiri dari berbagai kegiatan yang saling terkait satu sama lain. Jelaskan nama, judul atau yang berwenang dalam kegiatan yang akan dievaluasi. Identifikasi pula jumlah, tingkat dan sumber dana, tanggal awal dan akhir kegiatan dan penjelasan ringkas mengenai aspek-aspek apa saja dari kegiatan tersebut yang akan dievaluasi.

2)      Menjelaskan secara ringkas latar belakang dan sejarah kegiatan atau program yang akan dievaluasi.  Dalam latar belakang ini dapat pula dijelaskan nama-nama lembaga pelaksanan dan organisasi-organisasi yang terlibat, serta informasi lain yang dapat membantu tim evaluasi memahami konteks kegiatan yang akan dinilai. Beberapa hal yang perlu diperhatikan menyangkut pertanyaan berikut ini: Siapa yang menginginkan informasi dari hasif evaluasi ini?; Apa yang mereka ingin ketahui?; Untuk apa informasi evaluasi ini akan digunakan?; Kapan informasi tersebut diperlukan?; Seberapa akurat informasi tersebut harus dibuat?.

3)      Mengidentifikasi sumber-sumber informasi mengenai kinerja kegiatan yang telah berlangsung. Data sekunder ini dimaksudkan untuk mengetahui sistem-sistem evaluasi atau laporan-laporan evaluasi terdahulu. Sebuah ringkasan mengenai jenis-jenis data yang sudah tersedia, kerangka waktu, dan indikasi mengenai kualitas suatu kegiatan dapat membantu tim evaluasi dalam mengidentifikasi informasi apa saja yang telah ada dan apa yang telah terjadi pada kegiatan yang akan dievaluasi.

4)      Menentukan tujuan evaluasi. Sebuah evaluasi dapat dilakukan dengan baik jika memiliki tujuan yang jelas mengenai apa yang ingin dicapai oleh kegiatan evaluasi tersebut.  Secara garis besar tujuan evaluasi dalam kaitannya dengan kegiatan pelayanan sosial menyangkut beberapa aspek sebagai berikut: (a) penentuan hasil-hasil yang telah dicapai oleh suatu program sesuai dengan kriteria; (b) pengujian validitas asumsi-asumsi dan hipotesisi-hipotesis yang mendasari kerangka kerja monev; (c) penentuan seberapa jauh kepuasan klien telah terpenuhi; (d) pengidentifikasian dampak-dampak tidak langsung yang ditimbulkan oleh suatu kegiatan; (e) pengujian keberlangsungan program dan hasil-hasilnya; (f) pengujian efektifitas strategi-strategi lembaga dalam mengimplementasikan program-program kegiatannya.

5)      Merumuskan pertanyaan-pertanyaan evaluasi. Pertanyaan harus jelas dan terfokus. Pertanyaan yang mengambang dapat menimbulkan jawaban yang mengambang pula.  Batasi jumlah pertanyaan sesuai dengan parameter atau variabel yang perlu diukur. Terlalu banyak pertanyaan dapat menimbulkan tidak terfokusnya informasi yang dikumpulkan. Hindari pula pertanyaan-pertanyaan yang jawabannya sudah dan mudah diketahui secara umum.

6)      Menentukan metode atau teknik-teknik evaluasi. Beberapa hal yang perlu diketahui adalah: (a) desain strategi secara umum yang akan diterapkan dan bagaimana strategi tersebut sejalan dengan pertanyaan-pertanyaan evaluasi yang telah disusun (pada point 5); (b) Dari siapa data akan dikumpulkan; (c) Bagaimana data tersebut diperoleh. dan (d) Bagaiman data tersebut akan dianalisis.

7)      Menentukan komposisi dan partisipasi tim pelaksanan. Identifikasi jumlah tim, kualifikasi dan keterampilan para anggota tim, termasuk partisipasi yang diharapkan dari mereka. Evaluasi yang baik biasanya tergantung dari komposisi tim. Tim evaluasi yang berasal dari berbagai latar-belakang pendidikan dan pengalaman sangat dianjurkan, termasuk seorang spesilias teknis dan sekurang-kurangnya seorang spesialis evaluasi.

8)      Menentukan prosedur, jadwal dan logistik. Kaji berbagai prasyarat prosedural sebuah evaluasi, termasuk jadwal dan logistik yang diperlukan. Aspek-aspek yang perlu dipehatikan meliputi: (a) jadwal umum pelaksanaan evaluasi seperti lamanya pelaksanaan evaluasi dan waktu penyerahan laporan evaluasi; (b) jam kerja, hari-hari libur; (c) dokumen perjalanan yang diperlukan, seperti tiket bus, KA atau pesawat udara, booking dan tiket penginapan; (d) kondisi-kondisi cuaca, perjalanan, sosial-budaya yang mungkin mempengaruhi pengumpulan data; (e) ketersediaan petugas pembantu atau pendamping, seperti penunjuk jalan, penterjemah, asisten pengumpul data, pengolah data, supir dll; (f) ketersediaan fasilitas dan alat-alat penunjang, seperti mobil, handphone, komputer laptop, tape recorder, kalkulator dan sarana yang diperlukan lainnya; (g) prosedur-prosedur untuk merancang pertemuan, wawancara, seminar.

9)      Anggaran. Dalam rencana anggaran dapat dirancang dari mana sumber pendanaan akan diperoleh dan untuk apa saja dana tersebut akan digunakan. Perkirakan biaya yang diperlukan untuk kegiatan evaluasi, termasuk biaya-biaya untuk konsultan, pembuatan laporan, ATK, biaya perjalanan, hotel dsb.

10)  Melakukan pengumpulan data dan menyiapkan sistem pelaporannya. Setelah semua persiapan dianggap matang, maka evaluasi dapat dilakukan. Hal ini terutama menyangkut pelaksanaan pengumpulan data di lapangan sesuai dengan metode dan teknik-teknik evaluasi yang dipilih. Selanjutnya, semua kegiatan evaluasi tersebut harus dihimpun dan disusun ke dalam sebuah laporan yang memaparkan hasil-hasil temuan, kesimpulan dan rekomendasi. Hal-hal yang perlu diperhatikan: (a) kapan dan berapa lama proses pengumpulan data akan dilakukan; (b) kapan laporan awal harus sudah disusun, berapa buah laporan harus disiapkan, dan kapan seminar hasil pelaporan tersebut akan dilakukan.