Penilaian Jawaban Esai Berdasarkan Pedoman Penskoran menggunakan Longest Common Subsequence dan Cosine Similarity
| Main Author: | Cholis, Mohammad Nur |
|---|---|
| Format: | Thesis NonPeerReviewed Book |
| Bahasa: | eng |
| Terbitan: |
, 2019
|
| Subjects: | |
| Online Access: |
http://repository.ub.ac.id/177806/1/Mohammad%20Nur%20Cholis%20%282%29.pdf http://repository.ub.ac.id/177806/ |
Daftar Isi:
- Evaluasi merupakan salah satu hal penting yang harus dilakukan pada proses pembelajaran. Evaluasi dalam proses pembelajaran salah satunya dapat dilakukan dengan mengadakan ujian. Salah satu ujian yang sering digunakan untuk melakukan evaluasi pembelajaran adalah ujian esai. Alasan digunakannya jenis ujian esai adalah kemudahan dalam penyusunan soal dan memiliki kelebihan dalam melatih pelajar menjawab soal dengan pendapat dan pengetahuannya sendiri. Jawaban untuk satu soal ujian esai bisa bervariasi yang menyebabkan sulitnya melakukan penilaian. Sifat subjektifitas dalam melakukan penilaian juga mengakibatkan ketidakadilan dan mempengaruhi hasil penilaian jawaban ujian esai. Membuat pedoman penskoran yang akan menjadi acuan dalam melakukan penilaian jawaban dapat menjadi solusi untuk mengatasi hal tersebut Pedoman penskoran dapat dikatakan sebagai strategi pemberian skor terhadap jawaban yang akan muncul. Selain penggunaan pedoman penskoran, penggunaan teknologi berupa sistem yang dapat melakukan penilaian secara otomatis juga akan membantu untuk menilai jawaban ujian esai. Dalam membuat sistem penilaian esai secara otomatis dibutuhkan proses pengekstrakan khususnya pada jawaban pelajar supaya menjadi lebih terstruktur. Proses pengekstrakan jawaban dilakukan dengan text mining yang dalam prosesnya dibagi dalam dua tahap yaitu text preprocessing dan feature selection. Pada tahap text preprocessing dilakukan proses untuk mempersiapkan data. Tahap text preprocessing terdiri atas proses mengubah semua huruf menjadi huruf kecil dan proses mengurai (memenggal) kalimat-kalimat menjadi daftar kata (tokenizing). Tahap feature selection adalah tahap setelah tahap text preprocessing. Tahap feature selection bertujuan mengurangi dimensi dari daftar kata dengan menghapus kata-kata yang tidak penting. Pada penelitian ini, ditambahkan proses spelling correction dan synonym recognition pada tahap feature selection. Proses spelling correction digunakan untuk memperbaiki kesalahan pengetikan. Proses synonym recognition digunakan untuk pendeteksian sinonim. Hasil proses pengekstrakan kemudian dihitung kemiripan jawaban dengan setiap kunci jawaban pada pedoman penskoran. Pada proses menghitung kemiripan ini, langkah pertama yang dilakukan adalah mencari kombinasi terbaik antara penggalan jawaban dengan kunci jawaban yang ada pada pedoman penskoran menggunakan algoritma Longest Common Subsequence (LCS). Kombinasi terbaik antara penggalan jawaban dengan kunci jawaban kemudian dihitung untuk mencari nilai kemiripannya menggunakan cosine similarity. Nilai kemiripan kemudian dikalikan dengan skor pada kunci jawaban. Penjumlahan dari semua hasil kali nilai kemiripan dan skor yang didapatkan tersebut yang menjadi rekomendasi nilai dari sistem. Pengujian untuk mengetahui tingkat akurasi sistem dilakukan dengan menggunakan data ujian mata pelajaran bahasa indonesia, seni budaya dan IPA dengan jumlah soal masing-masing ujian adalah 5 soal dan diikuti oleh 24 pelajar. Hasil rekomendasi nilai sistem penilaian esai berdasarkan pedoman penskoran menggunakan synonym recognition serta spelling correction menunjukkan tingkat akurasi sebesar 93,61 % dengan Root Mean Square Error (RMSE) sebesar 0,85, sedangkan tanpa pedoman penskoran memiliki akurasi 51,39 % dengan RMSE sebesar 4,47. Penggunaan synonym recognition serta spelling correction dapat meningkatkan akurasi rata-rata sebesar 35,28 % dan memperkecil RMSE rata-rata sebesar 3,80.