При разработке алгоритма для фотостоков нейросеть отказывалась распознавать черных кошек на темном фоне. Оказалось, в обучающей выборке было всего 3% таких фото. Исправили — теперь система идентифицирует даже тень хвоста на черном диване.
Урок: Данные бывают предвзятыми — проверяйте датасеты.