DATA QUALITY SERVICES
Langkah 1 : Profiling Data
- Pertama-tama Import Data DQS , kemudian Create Knowledge Base from : Import from DQS
file. Lalu memilih file data yang akan kita import ke dalam DQS. Setelah
itu Select data file yang akan kita
eksekusi.
- Setelah di Next, kita masuk ke Domain Management,
disini kita membuat Rules dimana data akan di
seleksi yang memiliki kesalahan data atau tidak, setelah Rules merasa terpenuhi maka klik Finish kemudian klik Publish.
- Lanjut ke tahap selanjutnya , klik kiri pada mouse di
bagian QUIZ (Knowladge Base yang kita buat sebelumnya) , lalu pilih Knowledge Discovery
- Setelah klik Knowledge Discovery, kita
memilih Data Source yang formatnya excel file dan memilih
data excel file yang akan kita
gunakan untuk di jalankan.
Selanjutnya mapping untuk kita
masukan data domain yang sama dengan Source
Column, setelah Source Column dan Domain terisi dengan sesuai semua kemudian klik Next untuk lanjut ke tahap selanjutnya.
- Hasil dari data profiling , tahap discovery untuk melihat
hasil data yang memiliki kesalahan (Data yang tidak komplit atau tidak valid). Hasil
data pada gambar dibawah tidak memiliki kesalahan dalam data. Lanjut ke tahap
selanjutnya, klik Next.
- Setelah kita Next, kita masuk ke tahap Manage Domain Values yaitu untuk mengetahui apakah mempunyai data
yang invalid atau tidak. Setelah kita cek tidak ada kesalahan selanjutnya klik Next.
- Setelah di cek data tersebut , lalu klik Finish dan Publish. Tahap Knowledge Base Management selesai.
Langkah 2 : Cleansing Data
- Tahap
Cleansing Data maka kita harus
memasukan nama serta Knowledge
Base yang kita buat sebelumnya. lalu
plih Cleansing pada bagian bawah lalu klik Next.
- Di Mapping
Stage, kita memilih extensi
file excel file sebagai data source yang ingin kita eksekusi dan setelah itu
pilih Book1.csv file. Kemudian samakan kolom mapping antara Source Column dan Domain
- Klik Next untuk tahap Cleansing. Lalu
Klik Start untuk memulai cleansing. Setelah itu hasil data
cleansing muncul, di bagian Profiler maka akan keluar Report
data yang memiliki
kesalahan data
- Klik Next untuk masuk ke tahap Manage and view result di sini kita dapat melihat apakah masih
ada data yang memiliki kesalahan atau tidak.
- Setelah menyatakan data sudah lengkap serta sesuai dengan Rules maka klik Next untuk export file untuk melihat hasil report yang benar dalam format Excel file atau SQL Server. untuk memilih hasil report data export ada dua pilihan Excel File dan SQL Server tetapi disini saya mengexport data dalam format excel , Setelah itu pilih dimana letak hasil eksport tersebut. Lalu pilih Output Format Jika ingin hasil eksport data only atau Data and Cleansing info. Selanjutnya jika sudah selesai menentukan lalu klik Export. Kemudian klik Finish.
Langkah 3 : Matching activity
- Pada tahap Matching Activity, kita memilih knowledge base yang kita buat
tadi lalu klik kanan pada Matching Policy untuk melanjutkan
- Di Mapping
stage, kita memilih file excel file sebagai data source dan setelah itu pilih sesuai letak dan nama
database data cleanshing yang di simpan sebelumnya. Lalu lakukan mapping
antara Column Source dan Domain.bila sudah terisi semua antara Source Column dan Domain.
- Jika data source sudah di mapping, lalu klik Next untuk melanjutkan tahapan
selanjutnya, di tahapan selanjutnya adalah Matching
Policy dimana kita membuat Rule
untuk mencari kesamaan data (Similarity) yang sudah di Mapping sebelumnya. lalu
kita isi domain apa yang ingin kita matching disini
saya mengambil contoh antara Birth Date dan Hire Date. lalu centang Prerequisite
pada domain Birth Date. Setelah Rule dibuat kemudian klik Start pada Matching Result dan data yang diidentifikasi kesamaan data nya muncul.
- Setelah melakukan Matching Policy, kemudian klik Next untuk melanjutkan ke tahapan selanjutnya. Pada tahan ini yaitu Matching Results kita akan melihat statistik Profiling mengenai data dan domain yang sudah terdeteksi. Klik Start setelah itu akan muncul hasil statistik pada data tersebut.
