Согласно последним результатам тестирования, проведенного Национальным институтом стандартов и технологий США, предвзятость в биометрии лица уменьшилась, поскольку разработчики алгоритмов сосредоточили свои усилия. Однако точное количество улучшений трудно даже измерить.
Проект теста NIST Face Recognition Vendor Test (FRVT) Part 8: Обобщение демографических различий, был опубликован для комментариев. Агентство ищет способы улучшить измерение различий в биометрической точности между группами испытуемых.
Большая часть документа посвящена объяснению различных статистических данных, используемых для измерения предвзятости, а также преимуществ и ограничений различных способов сделать это. Предыдущий отчёт о демографических различиях, FRVT, часть 3, показал очень низкие различия между наиболее точными алгоритмами, но значительные различия в целом.
Существуют три меры, называемые «Критериями функциональной справедливости» (FFMC), предложенные Джоном Ховардом (John Howard), Эли Лэрдом (Eli Laird), Евгением Сиротиным
(Yevgeniy Sirotin), Ребеккой Рубин (Rebecca Rubin), Джерри Типтоном (Jerry Tipton) и Аруном Вемури (Arun Vemury) из Испытательного центра Мэриленда. NIST добавляет ещё два, но считает, что ни один из них не подходит идеально для чёткого выражения результатов теста.
NIST также рассматривает вопрос о том, как проводить сравнения между низкими значениями коэффициента ошибок. Сюда входят такие проблемы, как избежать предположений о том, что алгоритм, который даёт почти нулевой коэффициент ошибок для одной демографической группы и всё ещё низкий, но относительно более высокий коэффициент ошибок для другой, хуже, чем алгоритм, который менее точен для обеих групп.
Показатель ‘Max/GeoMean’ определён как ведущий кандидат и представлен в опубликованных результатах тестирования.
Результаты поставщиков публикуются NIST, при этом максимальная частота ложных несоответствий (FNMR) и частота ложных совпадений (FMR) сравниваются со средними геометрическими показателями. Результат, равный 1, указывает на соответствие чётности. Результаты FNMR Max/GeoMean почти все находятся в диапазоне от 1 до 2, в то время как FMR Max/GeoMean варьируется от чуть более 6 до более 300.
Будущие исследования NIST будут применять тот же вид тестирования к биометрическим системам 1:N (идентификация), и в настоящее время разрабатывается стандарт ISO.
Corsight претендует на лидерство в снижении предвзятости
Согласно объявлению компании, Corsight AI добился одинакового количества ложных совпадений для испытуемых мужского и женского пола между черной и белой тестовыми группами.
Алгоритм компании набрал 1,01 FNMR Max/GeoMean и 20,63 FMR Max/GeoMean в обновлении результатов тестирования за июль 2022 года.
NIST также использует алгоритмы Corsight, Clearview AI, CUbox, DeepGlint, Idemia, NtechLab и Paravision в качестве примеров при сравнении частоты ошибок с различными демографическими группами по сравнению с испытуемыми из Восточной Европы.
«Мы очень рады, потому что это ещё один шаг вперёд в противодействии утверждениям о том, что предвзятость наносит ущерб эффективности технологии распознавания лиц», – комментирует директор Corsight по вопросам конфиденциальности Тони Портер. «Аргумент о том, что программное обеспечение для распознавания лиц не способно быть справедливым, заморожен во времени, и производительность последнего представления Corsight демонстрирует это».
По материалам Biometrics Research Group. Автор Chris Burt
