المشكلة التقنية أو المخرج

هذه المهمة مخصصة لـ«أتمتة معالجة بيانات» داخل البرمجة / الأتمتة والأدوات. جوهرها: افصل الاستخراج عن التنظيف والتحويل والتحميل.

بيئة التنفيذ والسياق

• مصدر البيانات
• المخطط
• خطوات التحويل
• حجم البيانات
• وجهة الإخراج

الطلب التقني

نفّذ مهمة «أتمتة معالجة بيانات» تقنيا ضمن البرمجة / الأتمتة والأدوات اعتمادا على السياق الفعلي الذي سأقدمه. السياق التقني: - [مصدر البيانات] - [المخطط] - [خطوات التحويل] - [حجم البيانات] - [وجهة الإخراج] طريقة التنفيذ والفحص: 1. افصل الاستخراج عن التنظيف والتحويل والتحميل. 2. تحقق من schema قبل كل مرحلة. 3. اجعل الدفعات قابلة للاستئناف وسجل الصفوف الفاشلة. المخرجات المقبولة: - pipeline بيانات. - تحقق schema. - سجل جودة وفشل. حافظ على حدود «أتمتة معالجة بيانات»: لا تحوّل الناتج إلى «أتمتة مهمة ملفات»؛ استخدم عناصر المهمة المجاورة فقط عندما تكون مدخلا ضروريا لهذه المهمة. شرط القبول: هل يمكن تتبع كل دفعة من المصدر إلى الناتج وإعادة الجزء الفاشل فقط؟

ما يجب تسليمه

• pipeline بيانات
• تحقق schema
• سجل جودة وفشل

معيار قبول الحل

• هل يمكن تتبع كل دفعة من المصدر إلى الناتج وإعادة الجزء الفاشل فقط؟