Analisis Akurasi Metode Term Weighting Untuk Penilaian Otomatis Esai Berbahasa Indonesia Dengan K-Nearest Neighbor
| Format: | Bachelors |
|---|---|
| Terbitan: |
#CREATOR_ORGNAME#
, 2018
|
| Subjects: |
Daftar Isi:
- Penilaian esai otomatis dapat menjadi solusi bagi permasalahan yang ada pada penilaian esai secara manual yaitu waktu pemeriksaan yang lama, tidak reliabel, dan tidak objektif. Penilaian esai otomatis dilakukan dengan cara melihat kemiripan antara esai yang akan dinilai dengan esai data latih yang telah diberikan label nilai oleh penilai manusia. Untuk menghitung kemiripan, setiap esai diubah menjadi bentuk vektor yang berisi bobot dari setiap term. Penelitian ini membandingkan hasil akurasi dari penggunaan 2 jenis metode pembobotan term yaitu unsupervised term weighting TF-IDF, dan supervised term weighting TF-Chi2 dan TF-RF. Penelitian ini menggunakan algoritma k-nearest neighbor sebagai metode machine learning. Terdapat 15 skenario eksperimen yang diujikan. Eksperimen dilakukan dengan menggunakan metode k-fold cross validation, dengan k bernilai 2 sampai 10. Hasil eksperimen terhadap 15 skenario memperlihatkan bahwa metode supervised term weighting selalu menghasilkan akurasi yang lebih baik dibandingkan metode unsupervised term weighting. Dengan rincian yaitu TF-Chi2 menjadi metode pembobotan term dengan akurasi terbaik pada 8 skenario, sedangkan TF-RF pada 7 skenario. Selisih hasil akurasi antara metode supervised term weighting dan unsupervised term weighting mencapai 14% pada dataset sejarah 1 rasio 1:1 dengan nilai k dari KNN bernilai 3. Dengan rincian yaitu metode TF-Chi2 menghasilkan akurasi 89,71%, metode TF-RF menghasilkan akurasi 88,07%, dan metode TF-IDF menghasilkan akurasi 74,93%. Walapun metode TF-Chi2 menjadi metode pembobotan term dengan akurasi terbaik pada 8 skenario, sedangkan TF-RF hanya pada 7 skenario, namun metode TF-RF memiliki performa yang lebih stabil dibandingkan TF-Chi2. Hal ini dibuktikan dengan hasil eksperimen pada skenario lainnya yaitu TF-Chi2 menjadi metode pembobotan dengan akurasi terendah pada 5 skenario, sedangkan TF-RF hanya pada 1 skenario. Oleh karena itu, metode pembobotan term yang direkomendasikan untuk digunakan dalam kasus penilaian esai otomatis dengan k-nearest neighbor adalah metode TF-RF dengan nilai k dari KNN bernilai 3. Kata Kunci: k-nearest neighbor, supervised term weighting, TF-Chi2, TF-RF, unsupervised term weighting, TF-IDF.