الخوارزمية التي رفضت قرضاً
وعدت أداة جديدة للبنك لتقييم الائتمان بالذكاء الاصطناعي بالعدالة والسرعة. في غضون ستة أشهر، تم رفض آلاف المتقدمين المؤهلين من الأقليات للحصول على قروض. اتضح أن الكود تعلم من عقود من بيانات الموافقة التمييزية.
التأثير البشري
فقدت العائلات فرصة شراء المنازل؛ لم تفتح الشركات الصغيرة أبداً. الأرقام "عملت"، لكن الناس اختفوا خلفها. تم استبعاد المجتمعات التي كانت تعاني من نقص الخدمات بهدوء مرة أخرى — هذه المرة بالكود.
ما الذي حدث خطأ
فهم الأسباب الجذرية يساعدنا على منع حالات الفشل المماثلة في المستقبل.
لم يفحص أحد في فريق التصميم مجموعة بيانات التدريب للتحيز التاريخي
حسّن النموذج دقة التنبؤ، وليس العدالة
رأى علماء البيانات منحنى الإخراج، وليس التكلفة البشرية تحته
التفكير الأخلاقي
بدون التعاطف كمعامل تصميم، أصبحت الكفاءة ظلماً. محو الأمية الحقيقية للبيانات يعني السؤال عن من يستفيد، من مفقود، وما التاريخ الذي يختبئ داخل مجموعة البيانات.
اتصال Chart-Ed
يقع هذا الفشل عند تقاطع DLL 9 (كشف التحيز في التمثيلات) وDLL 11 (توصيل النتائج بوضوح أخلاقي). المجتمع المتعلم بالبيانات يفحص خوارزمياته بالتعاطف وكذلك بالمنطق.
مطالبة التدريس
ناقش كيف كان يمكن أن يتغير هذا النتيجة إذا طبق فريق التطوير خيط DLL "التصور الأخلاقي" أثناء تدريب النموذج وإعداد التقارير.
بناء ممارسات بيانات أفضل
توفر معهد Chart-Ed لمحو الأمية العالمية للبيانات المعايير والأطر لمنع هذه الإخفاقات.