Optimasi Scheduling Untuk Proses Extract, Transform, Load (ETL) Pada Data Warehouse Menggunakan Metode Round Robin Data Partitioning (Studi Kasus: Universitas XYZ)
| Main Author: | Berliantara, Agung Yudha |
|---|---|
| Format: | Thesis NonPeerReviewed Book |
| Bahasa: | eng |
| Terbitan: |
, 2017
|
| Subjects: | |
| Online Access: |
http://repository.ub.ac.id/897/1/Agung%20Yudha%20Berliantara.pdf http://repository.ub.ac.id/897/ |
Daftar Isi:
- Dalam perkembangan teknologi yang pesat seperti saat ini, berbagai macam bentuk teknologi telah masuk ke dalam berbagai macam lingkup kehidupan. Terutama teknologi basis data atau dalam lingkup yang lain adalah data warehouse. Data yang ada di dalam data warehouse dapat diambil dari banyak sumber melalui proses Extract, Transform, and Load (ETL). Proses scheduling pada ETL data warehouse adalah proses yang harus dilalui untuk pembentukan data warehouse. Namun terdapat masalah yang muncul ketika melakukan proses scheduling untuk proses ETL. Sebagai contoh, untuk melakukan proses ETL dalam memproses data yang sangat besar akan dibutuhkan time cost yang sangat besar pula. Apabila tidak ditangani dengan baik, maka kemungkinan akan membutuhkan waktu yang sangat lama untuk eksekusi hingga ketidakkonsistenan data. Maka dari itu penelitian ini berfokus pada optimasi proses ETL untuk data warehouse menggunakan metode Round-robin. Dalam penelitian ini dilakukan wawancara dan observasi untuk mendapatkan informasi tentang keadaan lingkungan (environment) database pada keadaan yang sebenarnya, rancangan skema OLTP dan data warehouse yang tepat, serta data untuk digunakan sebagai bahan uji coba, yang kemudian dijadikan referensi untuk proses simulasi ETL. Proses ETL dengan cara konvensional (tidak menggunakan metode Round-Robin) akan diujikan dan dibandingkan dengan proses ETL yang menggunakan metode Round-Robin untuk mendapatkan hasil uji coba pada penelitian ini. Perbedaan dari kedua proses ini terdapat pada jumlah tabel partisi yang digunakan dalam proses ETL. Pada proses ETL metode Round-robin, tabel target akan dibagi (dipartisi) menjadi beberapa bagian, sedangkan untuk cara yang konvensional tidak diperlukan pembagian tabel target (partisi). Setelah uji coba selesai, ditemukan perbedaan dari kedua metode tersebut dalam segi waktu eksekusi. Melalui percobaan tersebut, diperoleh kesimpulan bahwa metode Round-robin memberikan waktu eksekusi yang lebih efisien hingga 60,1% tergantung dari jumlah data dan banyaknya partisi yang digunakan.