Evaluasi perangkat lunak dari alat manajemen kualitas data

Alat Manajemen Kualitas Data (DQM) tumbuh secara signifikan karena volume data telah meningkat dan ketergantungan pada alat yang lebih otomatis tergantung pada tingkat akurasi data yang tinggi untuk mencegah pengecualian dan keterlambatan dalam proses. Sebagai pelanggan dan mitra dagang lainnya, harapan dalam hal otomatisasi dan kecepatan meningkat, menjadi semakin tergantung pada data berkualitas baik untuk melakukan proses tersebut, yang memiliki dampak langsung pada pendapatan dan biaya bagi organisasi.

Apa persyaratan kriteria penilaian untuk alat kualitas data dan apa kesenjangan yang menganga yang tentu saja masih akan mengakibatkan implementasi pembersihan alat dan proyek-proyek kualitas jenis alat ini gagal. Dari perspektif teknis, aplikasi DQM harus:

(1) Ekstrak, penguraian dan konektivitas data
Langkah pertama dari jenis aplikasi ini adalah untuk terhubung ke data atau memuat data ke dalam aplikasi. Ada beberapa cara di mana data dapat dimuat ke dalam aplikasi atau kemampuan untuk menghubungkan dan melihat data. Ini juga mencakup kemampuan untuk menguraikan atau membagi bidang data.

(2) Pembuatan profil data
Setelah aplikasi memiliki atau memiliki akses ke data, langkah pertama dari proses DQM adalah melakukan tingkat tertentu dari profil data, termasuk melakukan statistik pada data tersebut. (min / maks, jumlah rata-rata atribut yang hilang) termasuk menentukan hubungan antara data. Ini juga harus mencakup kemampuan untuk memverifikasi keakuratan kolom tertentu, seperti alamat email, nomor telepon, dll., Serta ketersediaan pustaka referensi seperti kode pos, akurasi ejaan.

3 Pembersihan dan standardisasi
Pembersihan data menggunakan kedua fungsi pembersihan otomatis unggulan seperti standardisasi tanggal, penghapusan ruang, fungsi transformasi (seperti mengganti 1 untuk F dan 2 untuk M), menghitung nilai, mengidentifikasi nilai-nilai nama lokasi yang salah merujuk pustaka eksternal dan menetapkan set aturan standar dan normalitas data yang membantu mengidentifikasi informasi yang hilang atau salah. Ini juga mencakup kemampuan untuk menyesuaikan informasi secara manual.

(4) Deduplikasi
Deduping menggunakan berbagai atau kombinasi bidang dan algoritme untuk mengidentifikasi, mengumpulkan, dan membersihkan catatan. Duplikat catatan dapat menjadi hasil dari prosedur entri data yang buruk, penggabungan aplikasi, merger perusahaan atau banyak alasan lainnya. Anda harus memastikan bahwa tidak hanya alamat dikurangi, tetapi semua data dapat diperkirakan untuk duplikasi. Setelah catatan rangkap yang mencurigakan telah diidentifikasi, proses untuk benar-benar menambah catatan harus diklarifikasi. Ini dapat mencakup aturan otomatis untuk memilih atribut mana yang harus diprioritaskan dan / atau diproses secara manual untuk membersihkan duplikasi.

(5) Memuat dan mengekspor
Kemampuan aplikasi untuk mengekspor data dalam berbagai format, untuk terhubung ke basis data atau repositori data untuk menjatuhkan seluruh data atau secara bertahap.

Kemungkinan baru baru dalam aplikasi DQM.

Alat DQM biasanya dirancang dan dibangun oleh teknisi. Menciptakan proyek kualitas data yang sukses tidak hanya aspek teknis dalam menganalisis dan membersihkan data, tetapi juga sejumlah aspek lainnya. Apa yang beberapa aplikasi DQL baru sertakan dalam kotak alat aplikasi mencakup area yang lebih terkait dengan manajemen proyek dan proses secara sekali atau berkelanjutan. Kemungkinan baru seperti itu dapat sama pentingnya untuk keberhasilan perolehan pembersihan data atau proyek kualitas:

(1) Manajemen tugas otomatis para pemangku kepentingan dan pemilik data
Jenis proses atau proyek ini biasanya melibatkan sejumlah besar internal dan pemangku kepentingan eksternal. Mengelola ini melalui spreadsheet dan email bisa menjadi hal yang menakutkan dan rumit. Aplikasi yang dapat mengotomatisasi bagian dari proses ini dapat menambah nilai tambah yang signifikan dan dapat diprediksi untuk keberhasilan proyek. Ini bisa berupa hal-hal sederhana, seperti mengikuti kepatuhan dengan standar yang ditetapkan dan memberikan pengecualian / tugas kepada pengguna atau pemilik data tertentu jika ini dilanggar atau mengoordinasikan validasi skala besar secara langsung dengan pihak eksternal, seperti meminta sertifikat pembebasan pajak yang diperbarui secara langsung alamat

(2) Fleksibilitas Data – Opsi Pemrosesan Data
Beberapa aplikasi DQM sangat terspesialisasi untuk mengelola hanya verifikasi alamat atau pembersihan sebagian / SKU. Aplikasi DQM harus dapat memproses segala jenis MDM (data master) atau data transaksional dengan definisi aturan yang fleksibel.

(3) Pembersihan data besar
File Big Data dapat disediakan dalam format terstruktur, semi-terstruktur, dan sepenuhnya tidak terstruktur. Membakukan dan mengotomatiskan pembersihan data ini mungkin diperlukan secara berkelanjutan. Proses yang muncul untuk membersihkan data dalam jumlah besar ini membutuhkan aturan transformasi otomatis, yang dapat diterapkan tanpa terstruktur.

4 Manajemen data dan pemantauan kepatuhan
Tata kelola data dan kepatuhan terhadap pemantauan merupakan aspek penting untuk dapat menjaga keakuratan dan kebersihan data. Banyak aplikasi tidak dapat menegakkan aturan bisnis, yang diinginkan dari perspektif struktural. Beberapa aplikasi DQM dapat digunakan untuk memantau proses tata kelola data untuk meminta atribut atau nilai baru dan pemantauan pengecualian untuk mencapai tingkat kualitas informasi Anda yang lebih tinggi.

(5) Pelaporan Status Proyek
Sebuah proyek manajemen atau konversi kualitas data biasa melewati serangkaian langkah dan kalimat dengan sejumlah besar pemangku kepentingan. Penugasan tanggung jawab yang tepat, kemajuan menuju pembersihan dan saling ketergantungan tugas adalah proses yang kompleks dan beberapa aplikasi juga mulai mengadopsi jenis fungsi kolaborasi ini.



Source by Dianne Arneberg

Leave a Reply

Your email address will not be published. Required fields are marked *