End-To-End Neural Network Based Captcha Recognition

Main Authors: Jusin, Jusin, Harriman, Wilbert, Robin, Robin
Format: Article info application/pdf Document Journal
Bahasa: eng
Terbitan: UNIVERSITAS PELITA HARAPAN , 2022
Online Access: https://ejournal-medan.uph.edu/index.php/isd/article/view/552
https://ejournal-medan.uph.edu/index.php/isd/article/view/552/308
https://ejournal-medan.uph.edu/index.php/isd/article/view/552/338
Daftar Isi:
  • Completely Automated Public Turing test to tell Computers and Humans Apart (CAPTCHA) is widely used as a security measure against spam and bot attacks via the Internet. CAPTCHA works by the assumption that it takes human sensory and cognitive skills (that are not present in computers) to successfully identify objects or letters within a noisy graphical environment. In this work, we propose a way to teach machines to recognize CAPTCHAs with deep learning. Our deep learning model uses a Convolutional Neural Network (CNN) encoder to convert CAPTCHA images into vector representations, followed by a Recurrent Neural Network (RNN) decoder to convert vector representations into text. Our model is able to achieve a validation accuracy of 90% after about an hour of training. Code is available at https://github.com/wilbertharriman/tf2-attention-captcha-recognizer.
  • Completely Automated Public Turing test to tell Computers and Humans Apart (CAPTCHA) telah digunakan secara luas sebagai sebuah acuan dalam melawan serangan spam dan bot melalui  Internet. CAPTCHA bekerja dengan berasumsi bahwa sensori dan kognitif manusia dibutuhkan (dimana hal ini tidak dimiliki oleh komputer) agar bisa mengenal objek atau tulisan yang terdapat dalam sebuah lingkungan yang memiliki derau (noise) dengan baik dan benar. Kajian ini mengajukan sebuah cara untuk mengajari mesin untuk mengenal CAPTCHA dengan deep learning. Model deep learning ini menggunakan Convolutional Neural Network (CNN) encoder untuk mengkonversi citra CAPTCHA menjadi representasi vektor, kemudiaan dilanjutkan dengan menggunakan Recurrent Neural Network (RNN) decoder untuk mengkonversi representasi vector menjadi tulisan. Model ini mampu mencapai ketelitian validasi hingga 90% setelah dilakukan training selama 1 jam. Kode program tersedia pada alamat URL https://github.com/wilbertharriman/tf2-attention-captcha-recognizer.