A.  Pengantar

B.  Evaluasi Kuantitatif
1.  Paradigma Kuantitatif
Paradigma kuantitatif, dalam isu ontologis penelitianya melihat kenyataannya sebagai objek yang berada di luar peneliti. Sehingga hasil pengumpulan informasinya diarahkan kepada nilai objektifitas dan independensi. Peneliti selalu akan berusaha untuk menghindari pengaruh-pengaruh variable intervening yang diperkirakan akan mempengaruhi interaksi antar variable yang diteliti. Sampel yang diteliti juga dipertimbangkan lebih dauhulu dari segi karakteristiknya sehingga sample tersebut dianggap dapat mewakili populasinya. 

2.  Pendekatan
Dalam evaluasi program, ada beberapa pendekatan yang sesuai dengan paradigma kuantitatif yaitu: pendekatan tujuan (model Goal oriented), pendekatan proses (model CIPP, CSE-UCLA, Countenance). Semua jenis evaluasi program yang menggunakan paradigma kuantitatif  mempunyai karakteristik ada acuan atau standar dalam melaksanakan evaluasi. Proses evaluasi mempunyai tahap-tahap yang linier, tertentu serta selalu memposisikan evaluator sebagai yang berada di luar program sedang dalam posisi memotret keadaan di dalam program. Hal ini memang dianggap penting bagi evaluator untuk keperluan menjaga objektifitas serta independensi data yang dikumpulkan. 

3.  Desain Evaluasi Program
Desain evaluasi program mencakup suatu proses dan seperangkat rencana atau hasil tertulis (Brinkerhoff, Robert.O, et al, 1983). Desain evaluasi merupakan bentuk rencana untuk melakukan evaluasi yang meliputi komponen: focus evaluasi, cara menjaring informasi, mengolah informasi yang didapatkan, membuat laporan, dan melakukan review atau peninjauan kembali terhadap semua langkah evaluasi yang telah dilakukan. 

Desain evaluasi program yang menggunakan pendekatan kuantitatif, pada prinsipnya mengikuti langkah seperti yang dilakukan oleh peneliti yang akan melakukan penelitian yang menggunakan pendekatan kuantitatif. Format rancangannya mencakup konteks atau pernyataan tentang apa yang mendasari perlunya dilakukan evaluasi terhadap suatu program, kemudian apa tujuandilakukannya evaluasi program. Selanjutnya akan dibuat sejumlah pertanyaan hipotetis yang merujuk pada informasi apa yang akan dijaring guna mencapai tujuan evaluasi yang telah ditetapkan. Kemudian ditetapkan pula metodologi yang mencakup penetapan desain evaluasi, subjek yang akan dievaluasi, instrumentasi untuk menjaring data, serta pengolahannya (Creswell, John.W, 1994). 

Pada pendekatan kuantitatif, karakteristik yang menonjol adalah pada pertanyaan hipotetik yang sepadan dengan rumusan masalah pada penelitian kuantitatif, desain yang juga menggunakan desain-desain penelitian kuantitaif, subjek penelitian yang mempertimbangkan metode sampling, dan pengolahan data yang merujuk pada pembuktian hipotesis menggunakan uji statistika tertentu. Biasanya  pada pengolahan data akan dipilih cara yang lebih banyak menyatakan kualitas suatu data dalam bentuk angka-angka dan kemudian diuji dengan menggunakan penghitungan rumus-rumus sesuai dengan pola hubungan antar variable yang ingin dibuktikan.

Kesimpulannya pun dinyatakan dalam bentuk pernyataan yang didukung oleh angka-angka. Biasanya evaluator yang menggunakan cara ini menganggap bahwa angka-angka mempermudah menyatakan, membandingkan, dan mempertinggi akurasi.  

4. Prosedur Evaluasi Program
Prosedur evaluasi program merujuk pada teknik evaluasi program yang operasional sehingga mencakup urutan tahap-tahap yang dilakukan jika akan melakukan evaluasi program. Biasanya operasionalisasi evaluasi program lebih menekankan pada bagaimana cara mengumpulkan informasi yang diperlukan, seberapa banyak informasi harus dikumpulkan, bagaimana pengaturan data yang telah terkumpul, bagaimana cara mengolahnya, bagaimana cara menampilkan data tersebut kepada pihak yang memerlukan, serta efisiensi dalam mengumpulkan data. 

Pendekatan kuantitatif mengutamakan data yang bersifat numeric. Data yang berupa opini, perilaku, penampilan tidak dinyatakan dalam deskripsi tetapi diolah dahulu menggunakan pengkategorian dan kemudian diberi bobot dalambentuk angka untuk setiap kategori. Pengumpulan datanya biasanya menggunakan instrument lembar observasi, lembar inventori, tes penguasaan kemampuan tertentu, tes unjuk kerja, self rating, dan lain lain. Semua instrument tersebut biasanya telah ditentukan pedoma pemberian skornya, sehingga nantinya data yang akan diolah lebih lanjut adalah skor yang berupa angka.  Jumlah data juga menjadi sesuatu yang ditekankan pada pendekatan kuantitatif. Jumlah data yang diambil dari populasinya harus mengikuti cara pengambilan sample tertentu yang didasarkan pada seberapa besar sample tersebut dianggap mewakili populasi agar kesimpulannya bias digeneralisasikan dan berlaku untuk populasi. Semakin besar jumlah sampelnya semakin baik.

Perhatian terhadap objektifitas merupakan karakter dari pendekatan kuantitatif. Konsekuensinya instrument yang digunakan sedapat mungkin diketahui validitas dan reliabilitasnya. Dengan mengetahui validitas dan reliabilitas instrument, maka dianggap bahwa situasi saat pengambilan data berlangsung serta personifikasi pengambil data dianggap tidak mempengaruhi data yang dikumpulkan.  Selanjutnya pengolahan data juga menggambarkan karakteristik pendekatan kuantitatif. Pengolahan data berupa angka ditentukan oleh jenis pertanyaan hipotetik yang ingin dijawab. Jika yang ingin dilihat adalah perbedaan antara satu kelompok data dengan data lainnya maka digunakan pengolahan data statistic t-test, chi-square, anova, dan yang sejenisnya. Jika yang akan dilihat adalah hubungan antara satu kelompok data dengan kelompok data lainnya, maka akan digunakan pengolahan data statistic korelasi. Jika yang akan dilihat adalah seberapa luas penyebaran data yang dikumpulkan maka akan digunakan analisa data dengan mencari standar deviasinya, atau range semi interquartile. Keputusan pengolahan data mana yang akan dipakai sudah ditentukan sejak awal dan benar dipatuhi semua persyaratannya.

Kesimpulan yang dihasilkan biasanya dinyatakan dalam bentuk kalimat yang didukung oleh derajat signifikansi. Dengan cara seperti ini, baik peneliti maupu evaluator berkeyakinan bahwa kesimpulan yang dibuat bersifat objektif, terhindar dari bias, dan akurat (sesedikit mungkin disebabkan karena faktor kebetulan).

Berikut ini adalah bagan tahap-tahap yang tercakup dalam prosedur evaluasi
yang menggunakan pendekatan kuantitatif.

• Menentukan focus evaluasi (pertanyaan hipotik)
• Menentukan cara, mengumpulkan Data (tes, lembar observasi, lembar Inventori, tes u/kerja dll)
• Instrumentasi, penyusunan Instrument, uji validalitas & realibilitas
• Pengolahan Data (uji statistic) t-test Chi-square, uji korelasi, anova
• Menampilkan hasil penelitian (grafik, diagram, gambar)
• Membuat kesimpulan

C.  Evaluasi Kualitatif
1.  Paradigma Kualitatif
Paradigma ini mengandung beberapa kata kunci yaitu: 1) focus pada penelusuran secara inkuiri di tempat alamiahnya; 2) bergantung pada peneliti yang bertindak sebagai instrument penjaring data; 3) laporannya berbentuk narasi bukan angka. 

2.  Pendekatan
Pendekatan evaluiasi program kualitatif sangat mengandalkan pengumpulan data empiris dan analisis terhadap informasi yang terdokumentasi secara sistematis. 

Pendekatan kualitatif lebih sesuai untuk melakukan evaluasi pada saat program berlangsung . Dengan demikian evaluator dapat mengetahui dan bisa memahami segala hal yang berkaitan dengan program dengan cara melihat langsung pada saat program sedang berjalan. Cara ini dirasa perlu karena ada
fenomena-fenomena tertentu, peristiwa tertentu, maupun pihak-pihak tertentu yang hanya dapat dijaring informasinya secara lebih mudah pada saat programberlangsung. Pengumpulan informasi sebanyak mungkin pada saat beeguna untuk mengidentifikasi dengan lebih pasti apa saja yang menyebabkan program bisa berlangsung dengan baik atau tidak. Selain itu, jika ada hal-hal yang menarik perhatian, evaluator dapat melakukan penelusuran lebih jauh untuk menentukan konteks suatu peristiwa. Hal lain yang menonjol dari pendekatan ini adalah evaluator mempunyai kesempatan mengadakan interaksi dalam konteks pelaksanaan program sehingga atmosfer program dapat tertangkap dengan baik. Hal ini akan membuat evaluator dapat memahami latarbelakang suatu fenomena yang muncul dalam pelaksanaan program, yang mana akan sulit didapatkan jika pendekatan kuantitatif yang dipakai.  

3.  Desain Evaluasi Program
Desain evaluasi program yang menggunakan pendekatan kualitatif agak berbeda dengan desain penelitian kualitatif. Penelitian kualitatif dikenal banyak orang mempunyai cirri fleksibel dalam metode pengumpulan datanya dan pada saat proses berlangsung bias saja penelitinya mengembangkan datanya sejauh itu masih dalam konteks menggali informasi yang nantinya dapat digunakan untuk membangun teori baru.  Sedangkan pada evaluasi program informasi apa yang akan dikumpulkan telah ditetapkan pada awal penentuan desain dan sedapat mungkin pada saat pengumpulan informasi tidak terjadi perluasan pencarian informasi dengan alasan mencari titik jenuh kepusan peneliti dalam mengumpulkan informasi (Royse, David et al, 2006). 

Karakteristik lain yang ada pada penelitian yang menggunakan pendekatan kualitatif seperti posisi peneliti dalam konteks penelitian, unit informasi dan unit analisis, tipe informasi yang dikumpulkan, analisis data serta cara menyimpulkan juga digunakan dalam evaluasi program yang bersifat kualitatif. Format rancangannya mencakup konteks atau pernyataan tentang apa yang mendasari perlunya dilakukan evaluasi terhadap suatu program, kemudian apa tujuan dilakukannya evaluasi program. Selanjutnya akan disepakati dahulu asumsi yang relevan, aturan-aturan dalam pengumpulan informasi serta cara pengumpulan informasi, pengorganisasian data, analisis data, serta verifikasi data (Creswell, John.W, 1994).  Pada pendekatan kualitatif, karakteristik yang menonjol adalah pada posisi evaluator dalam pelaksanaan evaluasi. Tujuan evaluasi adalah mengumpulkan informasi tentang suatu program, evaluator walaupun bukan bagian dari pelaku di dalam program, tetapi pada pendekatan kualitatif evaluator harus berada dalam program dan mempunyai aksesibilitas yang tinggi terhadap semua komponen program. Tujuan utama evaluasi program dengan pendekatan kualitatif adalah mendapatkan gambaran yang menyeluruh tentang suatu program di semua aspeknya (Royse, David et al, 2006).

Pendekatan ini menekankan pada mendapatkan pemahaman lebih luas dan cenderung membentuk perspektif yang tak berujung dari suatu fenomena atau kejadian tertentu. Tujuan utama digunakannya pendekatan ini adalah menemukan kekuatan dan kelemahan program dari berbagai sudut pandang.
Berbeda dengan pendekatan kuantitatif pertanyaan yang menjadi focus evaluasi tidak menggambarkan adanya variable, data yang dikumpulkan akan ditampilkan dalam bentuk natative, tidak terlalu mementingkan metode sampling, dan pengolahan data tidak selalu menggunakan uji statistika tertentu. Biasanya  pada pengolahan data akan dipilih cara yang lebih banyak menyatakan kualitas interaksi antara satu  data dengan data lainnya dalam konteks menggambarkan situasi dan kondisi pada saat fenomena tertentu muncul. Kesimpulannyapun dinyatakan dalam bentuk pernyataan yang berbentuk deskripsi sehingga orang dapat melihat suatu gambaran yang utuh tentang suatu program.

4.  Prosedur Evaluasi Program
Prosedur evaluasi program berdasarkan pendekatan kualitatif biasanya mulai dari mendesain, lalu menentukan sample, mengumpulkan data, kemudian dianalisis. Perbedaan yang mencolok antara pendekatan kuanlitatif dan kuantitatif adalah prosedur dalam mengumpulkan data tidak mengikuti alur tertentu yang linier artinya pengumpulan data bisa maju dan mundur sesuai dengan kebutuhan informasi dan keperluan penelusuran untuk mendapatkan semua informasi yang diperlukan. Ada cara untuk mencegah evaluator kehilangan focus yaitu dengan menggunakan FQE (Focused Qualitative Evaluation). Alat pengumpul data yang digunakan pada pendekatan ini bias berupa catatan tentang kasus-kasus, pedoman wawancara, kuesioner, transkripsi rekaman suara, video, atau berupa foto,sosiogram, reka ulang, judicial review. Data yang terkumpul biasanya diberi kode dan diorganisasikan sedemikian rupa berdasarkan tingkat relevansinya dengan suatu fenomena atau peristiwa tertentu yang terjadi dalam program. Data tersebut nantinya akan dianalisis dengan cara mengelompokkan berdasarkan peristiwa yang terjadi dalam program. Data akan disajikan dalam bentuk cerita yang rinci lengkap dengan analisis situasi dan perilaku orang-orang yang terlibat di dalamnya.  Evaluasi semacam ini biasanya diperlukan pada program-program tentative atau pilot project yang masih ingin dicari kekuatan dan kelemahannya. Hasil  evaluasi nentinya akan digunakan untuk keperluan pengembangan program dengan cakupan yang lebih luas.  

Tahap-tahap evaluasi program dengan pendekatan kualitatif secara garis besar adalah (Royse, David et al, 2006):

• Menentukan tujuan evaluasi, jangka waktu evaluasi, dan factor pendukung lain seperti aksesibilitas ke dalam program
• Menentukan unit analisis yang merujuk kepada individu yang terlibat  dalam program (panitia, peserta, penyandang dana, pengguna output program, unsure pendukung program)
• Menentukan sample, jenis data yang akan dikumpulkan, cara menganalisis data, dan cara menyimpulkan.

Berikut akan disajikan  prosedur evaluasi program yang menggunakan pendekatan kualitatif yang lebih rinci dalam bentuk bagan  :

• Menentukan focus evaluasi
• Menentukan unit analisa
• Menjajagi aksebilitas
• Menentukan cara mengumpulkan data
• Menentukan cara menganalisa data
• Menampilkan dalam bentuk narasi
• Kesimpulan dalam bentuk narasi

Kesimpulan

1. Evaluasi program kuantitatif merupakan evaluasi program yang memiliki  karakter: menekankan pada objektifitas dan independensi evaluator,  hubungan antar variable melalui pengujian statistik, dan    menyatakan  hasilnya dalam bentuk numeric
2. Evaluasi program kualitatif merupakan evaluasi program yang memiliki karakter : menekankan pada aksesibilitas evaluator dalam program, menyatakan hubungan antar informasi yang saling berhubungan dalam konteks suatu peristiwa, tidak iharuskan melakukan pengujian statistic, informasi disajikan dalam bentuk narasi

Sumber Pustaka:

• Creswell, John W. 2010. Research Design Pendekatan Kualitatif, Kuantitatif, dan. Mixed.Yogyakarta : Pustaka Pelajar.
• Brinkerhoff, Robert O. et al. 1983. Program EValuation: A Practitioner’s Guide for Trainers and Educationer, fourth edition. Boston: Keluwer Nijboff, 
• Royse, David. et al., 2006. Program Evaluation, An Introduction. Toronto.Thomson Books.