Так уже сейчас решения о выдаче кредита принимают железки бездушные на основании моделей вроде FICO. Как раз если заметный процент решений принимают люди, то это привлечёт внимание регуляторов, потому что фиг докажешь беспристрастность.

Но у сегодняшних тупых моделей легко показать, что на входе нет переменных, по которым нельзя дискриминировать. А если такие переменные есть (например, возраст) то можно показать, что дискриминация идёт в правильную сторону.

С чёрным ящиком вида "мы запустили TensorFlow на всех данных, и вот что получилось" такой отмазки нет. Тема model interpretability пока учёными не раскрыта.