拒绝贷款的算法

地区: 北美|问题: 算法偏见|DLL 焦点: 9 → 11 (道德可视化与偏见检测)

一家银行的新AI信用评分工具承诺公平和速度。在六个月内，数千名合格的少数族裔申请人被拒绝贷款。结果发现，代码从数十年的歧视性批准数据中学习。

人类影响

家庭失去了购买房屋的机会；小企业从未开业。数字"有效"，但人们消失在它们背后。已经服务不足的社区再次被悄悄排除——这次是通过代码。

了解根本原因有助于我们防止未来出现类似的失败。

设计团队中没有人检查训练数据集的历史偏见

模型优化了预测准确性，而不是正义

数据科学家看到了输出曲线，而不是其下的人力成本

没有同理心作为设计参数，效率变成了不公正。真正的数据素养意味着询问谁受益，谁缺失，以及数据集中隐藏着什么历史。

这一失败位于DLL 9（检测表示中的偏见）和DLL 11（以道德清晰度传达发现）的交汇处。一个数据素养社会以同情心和逻辑来审计其算法。

讨论如果开发团队在模型训练和报告期间应用DLL"道德可视化"线索，这一结果可能会如何改变。

Chart-Ed 全球数据素养倡议提供标准和框架来防止这些失败。