[MATA KULIAH KUALITAS DATA] Tutorial DQS SQL Server (Data Cleansing & Data Matching)

DATA QUALITY SERVICES

Langkah 1 : Profiling Data

Pertama-tama Import Data DQS , kemudian Create Knowledge Base from : Import from DQS file. Lalu memilih file data yang akan kita import ke dalam DQS. Setelah itu Select data file yang akan kita eksekusi.
Setelah di Next, kita masuk ke Domain Management, disini kita membuat Rules dimana data akan di seleksi yang memiliki kesalahan data atau tidak, setelah Rules merasa terpenuhi maka klik Finish kemudian klik Publish.
Lanjut ke tahap selanjutnya , klik kiri pada mouse di bagian QUIZ (Knowladge Base yang kita buat sebelumnya) , lalu pilih Knowledge Discovery
Setelah klik Knowledge Discovery, kita memilih Data Source yang formatnya excel file dan memilih data excel file yang akan kita gunakan untuk di jalankan. Selanjutnya mapping untuk kita masukan data domain yang sama dengan Source Column, setelah Source Column dan Domain terisi dengan sesuai semua kemudian klik Next untuk lanjut ke tahap selanjutnya.
Hasil dari data profiling , tahap discovery untuk melihat hasil data yang memiliki kesalahan (Data yang tidak komplit atau tidak valid). Hasil data pada gambar dibawah tidak memiliki kesalahan dalam data. Lanjut ke tahap selanjutnya, klik Next.
Setelah kita Next, kita masuk ke tahap Manage Domain Values yaitu untuk mengetahui apakah mempunyai data yang invalid atau tidak. Setelah kita cek tidak ada kesalahan selanjutnya klik Next.
Setelah di cek data tersebut , lalu klik Finish dan Publish. Tahap Knowledge Base Management selesai.

Langkah 2 : Cleansing Data

Tahap Cleansing Data maka kita harus memasukan nama serta Knowledge Base yang kita buat sebelumnya. lalu plih Cleansing pada bagian bawah lalu klik Next.
Di Mapping Stage, kita memilih extensi file excel file sebagai data source yang ingin kita eksekusi dan setelah itu pilih Book1.csv file. Kemudian samakan kolom mapping antara Source Column dan Domain
Klik Next untuk tahap Cleansing. Lalu Klik Start untuk memulai cleansing. Setelah itu hasil data cleansing muncul, di bagian Profiler maka akan keluar Report data yang memiliki kesalahan data
Klik Next untuk masuk ke tahap Manage and view result di sini kita dapat melihat apakah masih ada data yang memiliki kesalahan atau tidak.
Setelah menyatakan data sudah lengkap serta sesuai dengan Rules maka klik Next untuk export file untuk melihat hasil report yang benar dalam format Excel file atau SQL Server. untuk memilih hasil report data export ada dua pilihan Excel File dan SQL Server tetapi disini saya mengexport data dalam format excel , Setelah itu pilih dimana letak hasil eksport tersebut. Lalu pilih Output Format Jika ingin hasil eksport data only atau Data and Cleansing info. Selanjutnya jika sudah selesai menentukan lalu klik Export. Kemudian klik Finish.

Langkah 3 : Matching activity

Pada tahap Matching Activity, kita memilih knowledge base yang kita buat tadi lalu klik kanan pada Matching Policy untuk melanjutkan
Di Mapping stage, kita memilih file excel file sebagai data source dan setelah itu pilih sesuai letak dan nama database data cleanshing yang di simpan sebelumnya. Lalu lakukan mapping antara Column Source dan Domain.bila sudah terisi semua antara Source Column dan Domain.
Jika data source sudah di mapping, lalu klik Next untuk melanjutkan tahapan selanjutnya, di tahapan selanjutnya adalah Matching Policy dimana kita membuat Rule untuk mencari kesamaan data (Similarity) yang sudah di Mapping sebelumnya. lalu kita isi domain apa yang ingin kita matching disini saya mengambil contoh antara Birth Date dan Hire Date. lalu centang Prerequisite pada domain Birth Date. Setelah Rule dibuat kemudian klik Start pada Matching Result dan data yang diidentifikasi kesamaan data nya muncul.
Setelah melakukan Matching Policy, kemudian klik Next untuk melanjutkan ke tahapan selanjutnya. Pada tahan ini yaitu Matching Results kita akan melihat statistik Profiling mengenai data dan domain yang sudah terdeteksi. Klik Start setelah itu akan muncul hasil statistik pada data tersebut.