الدرس 16: تجربة المنتج الذكي وعدم اليقين والأخطاء
عدم اليقين
الأنظمة المبنية على نماذج احتمالية قد تنتج اختلافًا بين محاولتين، وقد تعطي إجابة مقنعة رغم نقص المعلومات. تجربة الاستخدام يجب أن تكشف هذا الاحتمال عندما يؤثر على القرار، لا أن تعرض النتيجة كحقيقة مطلقة.
نتيجة غير صحيحة
النتيجة قد تكون خاطئة بسبب مدخل ناقص، فهم غير دقيق، مصدر غير موثوق، أو خروج عن النطاق. تصميم المنتج يحتاج طريقة لاكتشاف الخطأ وتصحيحه وجمعه ضمن بيانات التقييم.
نتيجة غير كاملة
أحيانًا لا يكون الخطأ في المعلومة بل في النقص. إذا كان المطلوب استخراج عشرة حقول واستخرج النموذج ثمانية فقط، فالمنتج يحتاج كشف الحقول المفقودة بدل عرض السجل كأنه مكتمل.
نتيجة غير قابلة للتفسير
في بعض المهام يحتاج المستخدم إلى معرفة مصدر المعلومة أو الجزء الذي بنيت عليه النتيجة. يمكن عرض مقتطفات مرجعية أو روابط أو حقول مصدر حتى يستطيع المستخدم التحقق.
التصحيح
اجعل تعديل النتيجة سهلًا عندما يكون الإنسان جزءًا من الحلقة. التصحيح يجب أن يحفظ النسخة الأصلية والنسخة المعتمدة عند الحاجة، حتى يمكن قياس أنواع الأخطاء وتطوير النظام.
التراجع
إذا نفذ الذكاء إجراءً مثل تحديث سجل أو إرسال رسالة، فكر في إمكانية التراجع أو الموافقة المسبقة. العمل الذي لا يمكن عكسه يحتاج حواجز أقوى من العمل الذي ينتج مسودة قابلة للتعديل.
الرسائل
لا تعرض للمستخدم رسالة تقنية مثل «انخفضت احتمالية النموذج». استخدم لغة مرتبطة بالفعل: «المعلومات غير كافية لاعتماد النتيجة»، «راجع الحقلين التاليين»، أو «يحتاج هذا الطلب مراجعة بشرية».
الحالات خارج النطاق
حدد موضوعات أو صيغًا أو لغات أو أنواع ملفات لم يختبر عليها المنتج. الرفض الواضح أفضل من محاولة إنتاج جواب ضعيف في حالة لم يُصمم لها النظام.
مثال
مساعد يكتب ردود دعم فني يمكنه توليد مسودة، لكنه إذا لم يجد المنتج أو السياسة في قاعدة المعرفة يوقف التوليد ويطلب معلومات إضافية. وعند وجود تعويض مالي أو شكوى قانونية يحول المحادثة لموظف مختص.
استخدام الذكاء
يمكن تشغيل النموذج نفسه كمولد حالات صعبة، ثم بناء اختبارات منها: طلبات مبهمة، تعليمات متعارضة، نصوص ناقصة، أو محتوى يحاول تجاوز الحدود. النتائج تُستخدم لتحسين النظام لا لإثبات أنه مثالي.