الفحص الأولي

قبل التنظيف افهم شكل البيانات: عدد الصفوف والأعمدة، الأنواع، القيم الفريدة، النطاقات، نسبة النقص، التكرارات، والتوزيعات. احتفظ بنسخة خام لا تتغير.

الأخطاء

الخطأ قد يكون قيمة مستحيلة، صيغة غير صحيحة، سجل في عمود خاطئ، أو علاقة غير منطقية بين حقول. يجب فهم سبب الخطأ قبل تصحيحه حتى لا تخفي مشكلة في المصدر.

القيم الناقصة

فرّق بين «غير متوفر»، «غير منطبق»، «لم يُجمع»، و«مفقود بسبب خطأ». تحويل كل الفراغات إلى صفر يغير المعنى وقد يفسد المتوسطات والتحليل.

معالجة النقص

يمكن حذف السجلات في حالات محدودة، أو تعويض القيمة بطريقة مناسبة، أو الاحتفاظ بها كفئة مستقلة، أو الرجوع للمصدر. القرار يعتمد على نسبة النقص وسببها وأهمية الحقل.

التكرار

حدد ما الذي يجعل السجل مكررًا. قد يتكرر الاسم بينما يمثل شخصين مختلفين، أو يختلف الاسم قليلًا لنفس الشخص. استخدم مفاتيح مستقرة وقواعد مطابقة واضحة.

توحيد الصيغ

وحّد التاريخ والمنطقة الزمنية والعملات وأرقام الجوال والحروف والقيم النصية. التوحيد يجعل المقارنة ممكنة لكنه لا يجب أن يمحو التفاصيل التي تحتاجها لاحقًا.

توحيد القيم

القيم «الرياض»، «Riyadh»، و«الرياض » قد تمثل الشيء نفسه. أنشئ قاموس تحويل بدل تعديل يدوي غير موثق.

التحقق بعد التنظيف

قارن عدد السجلات والمجاميع والتوزيعات قبل وبعد. إذا انخفض الإيراد 20% بعد إزالة التكرار يجب فهم السبب والتأكد أن العملية لم تحذف سجلات صحيحة.

قابلية إعادة التنفيذ

اكتب قواعد التنظيف كخطوات يمكن تشغيلها من جديد بدل تعديلات يدوية غير قابلة للتتبع. احتفظ بتاريخ الإصدار والمصدر.

استخدام الذكاء

يمكنه اقتراح قواعد من عينات، اكتشاف أنماط أخطاء نصية، وشرح فروق الصيغ. يجب اختبار القاعدة على بيانات لم تُستخدم في اقتراحها، لأن النموذج قد يعمم من أمثلة قليلة.