Racang Bangun Sistem Image Recognition, Text Processing, dan ETL
| Main Author: | Wijaya Arifin, Michael |
|---|---|
| Format: | Thesis NonPeerReviewed application/pdf |
| Bahasa: | eng |
| Terbitan: |
, 2020
|
| Subjects: | |
| Online Access: |
http://kc.umn.ac.id/13837/1/HALAMAN_AWAL.pdf http://kc.umn.ac.id/13837/2/DAFTAR_PUSTAKA.pdf http://kc.umn.ac.id/13837/3/BAB_I.pdf http://kc.umn.ac.id/13837/4/BAB_II.pdf http://kc.umn.ac.id/13837/5/BAB_III.pdf http://kc.umn.ac.id/13837/6/BAB_IV.pdf http://kc.umn.ac.id/13837/7/LAMPIRAN.pdf http://kc.umn.ac.id/13837/ |
Daftar Isi:
- Penulis melakukan kerja magang di Kompas Media Nusantara. Selama penulis magang, penulis diberikan tiga tugas oleh supervisor. Tugas pertama yang diberikan adalah membuat sistem image recognition yang dapat membaca gambar yang dikirimkan pengguna dan menentukan nomor halaman gambar tersebut di koran kompas. Untuk menentukan lokasi gambar di koran, penulis menggunakan Python, library OpenCV, algoritma ORB dan FLANN untuk membandingkan gambar dengan gambar halaman koran kompas. Tugas kedua adalah membuat sistem text processing yang dapat membaca artikel berita dan menggunakan Named Entity Recognition untuk menentukan lokasi kejadian yang diuraikan pada artikel tersebut. Untuk membuat sistem ini, penulis menggunakan SpaCy NER. Sayangnya akurasi SpaCy NER kurang memuaskan sehingga supervisor menganggap tugas ini tidak layak. Tugas terakhir yang diberikan adalah membuat sistem ETL menggunakan ELK Stack yang dapat mengekstrak file dari tiga kantor berita, mengtransformasi file ke bentuk yang dapat dibaca oleh Elasticsearch, dan memuat file tersebut ke Elasticsearch menggunakan Logstash. Dalam pengerjaan tugas, penulis menemukan bahwa timestamp file tidak dapat dibaca oleh Elasticsearch sehingga penulis harus membuat script Ruby untuk merubah timestamp ke bentuk yang dapat dibaca. Semua sistem yang telah dibuat diunggah ke situs Github untuk di deploy di server Kompas dan semua kode sistem didokumentasikan.