Новости космоса и технологий. » Технологии » Когда исправления алгоритмической справедливости терпят неудачу: аргумент в пользу того, чтобы держать людей в курсе

Когда исправления алгоритмической справедливости терпят неудачу: аргумент в пользу того, чтобы держать людей в курсе

Опубликовал: Admin, 8-11-2020, 01:01, Технологии, 37, 0

Когда исправления алгоритмической справедливости терпят неудачу: аргумент в пользу того, чтобы держать людей в курсе

Попытки исправить алгоритмы клинического прогнозирования, чтобы сделать их справедливыми, также делают их менее точными.

Поскольку системы здравоохранения все чаще полагаются на алгоритмы прогнозирования для принятия решений о уход за пациентом , они сталкиваются с проблемами справедливости.

Например, больница может использовать свои электронные медицинские записи, чтобы предсказать, какие пациенты подвержены риску сердечно-сосудистых заболеваний, диабета или депрессии, а затем предложить пациентам из группы высокого риска особое внимание. Но женщины, чернокожие люди и другие группы этнических или расовых меньшинств могут иметь историю, когда эти проблемы неправильно диагностировались или не лечились. Это означает прогнозная модель обучение на исторических данных может воспроизвести историческое плохое обращение или иметь гораздо более высокий уровень ошибок для этих подгрупп, чем для белых пациентов мужского пола. И когда больница использует это алгоритм решить, кому следует уделять особое внимание, это может еще больше усугубить ситуацию.

Некоторые исследователи надеялись решить проблемы справедливости модели алгоритмически - путем перекалибровки модели для разных групп или разработки способов уменьшения систематических различий в частоте и распределении ошибок между группами.

Но Нигам Шах, адъюнкт-профессор медицины (биомедицинской информатики) и биомедицинских данных в Стэнфордском университете, а также член факультета Стэнфордского института человеко-ориентированного искусственного интеллекта (HAI), а также аспиранты Стивен Пфол и Агата Форичиарз задались вопросом, а не алгоритмические ли алгоритмы. исправления были действительно ответом.

В недавней статье команда обнаружила, что различные методы, которые были предложены для решения проблемы алгоритмической справедливости, действительно делают алгоритмы более справедливыми, но они также могут снизить их производительность. «На самом деле вы можете сделать алгоритм хуже для всех, - говорит Шах.

В результате, говорит Шах, когда учреждения сталкиваются с проблемами справедливости алгоритмов прогнозирования клинических результатов, применение алгоритмического исправления является одним из трех вариантов, которые должны быть на столе. Вторая - держать человека в курсе, чтобы убедиться, что с подгруппами обращаются справедливо; и третий - полностью отказаться от алгоритма. По его словам, чтобы знать, какой вариант является наиболее подходящим, необходимо хорошо понимать более широкий контекст, в котором возникает предполагаемая несправедливость.

С этой целью компьютерные ученые, пытающиеся разработать алгоритмы справедливого прогнозирования для использования в клинике, должны связаться с заинтересованными сторонами (клиницистами, пациентами и членами сообщества), говорит Пфол. «Тщательная формулировка проблемы, основанная на ценностях населения, которому вы пытаетесь помочь, является фундаментальной и важной».

Ограниченная полезность подходов к алгоритмической справедливости
Чтобы оценить различные подходы, которые были предложены для исправления несправедливых моделей прогнозирования, Шах и Пфол начали с обучения алгоритму машинного обучения для прогнозирования нескольких результатов для здоровья тысяч пациентов в трех больших наборах данных. Например, они использовали данные электронных медицинских карт Стэнфордского университета за 10 с лишним лет для прогнозирования больничной смертности, продолжительного пребывания в больнице и 30-дневной повторной госпитализации. Во-первых, они разбили наборы данных по возрасту, этнической принадлежности, полу и расе. Затем, используя несколько различных определений справедливости, они применили соответствующие алгоритмические исправления справедливости к прогнозам результатов. «В итоге мы получаем большую матрицу того, как разные понятия справедливости и коварные характеристики модели зависят от каждой подгруппы», - говорит Пфол.

В большинстве случаев исходная обученная модель давала несправедливые результаты: прогнозы были лучше откалиброваны для одних расовых и этнических групп, чем для других, или, например, давали разное количество ложноположительных и отрицательных результатов.

Когда к модели применялись различные методы алгоритмической справедливости, они фактически работали: распределения прогнозов совпадали лучше или частота ошибок становилась более похожей по группам. Но навязывание справедливости дорого обошлось моделям: прогнозы были менее надежными. Более того, говорит Пфоль, различные подходы к справедливости противоречат друг другу. «Если вы удовлетворяете одному понятию справедливости, вы не удовлетворяете другому понятию справедливости, и наоборот - и разные понятия могут быть разумными в разных условиях».

Несмотря на эти проблемы, возможно, исправления алгоритмической справедливости будут работать в некоторых контекстах, говорит Пфол. Если разработчики, при участии соответствующих заинтересованных сторон, усердно поработают, чтобы понять, какое понятие справедливости или равноправия наиболее актуально для конкретной ситуации, они могут найти баланс между честностью и производительностью для узкоспециализированного алгоритма прогнозирования. «Но это не универсальное решение», - говорит он. «Наши технические решения ограничены по своему охвату, и об этом важно всегда помнить».

Альтернатива: фокус на справедливом обращении с человеком в кругу
Для Шаха проблема алгоритмической справедливости вызывает наибольшее беспокойство, когда она ведет к несправедливому обращению в клинике. По словам Шах, недавняя статья Зиада Оберьемера привлекла большое внимание именно по этой причине. Там поставщик медицинских услуг использовал алгоритм прогнозирования затрат, чтобы решить, каких пациентов следует направить в специальную программу управления медицинской помощью с высоким риском. В алгоритме использовались исторические затраты на здравоохранение для прогнозирования будущих затрат на здравоохранение (и это было сделано непредвзято). Но когда поставщик медицинских услуг использовал прогнозы будущих расходов на здравоохранение в качестве косвенного показателя потребностей в медицинском обслуживании, последствия такого использования привели к несправедливому обращению: чернокожие пациенты должны были быть намного хуже, чем белые пациенты, прежде чем они получили дополнительную помощь.

«Это то, что больше всего волнует людей», - говорит Шах. «Если правительство или агентство здравоохранения по-разному относятся к вам и мне из-за алгоритма, мы расстроимся».

Но, по словам Шах, люди склонны винить сам алгоритм. «Часто негласное предположение состоит в том, что если мы исправим систематическую ошибку в оценке результата[using algorithmic fairness approaches], Это, в свою очередь, исправит ошибку в распределении льгот», - говорит он. "Это может быть желаемое за действительное".

В самом деле, даже если алгоритм подходит для одной цели или был исправлен с помощью алгоритмического исправления, клиницистам все равно необходимо знать об ограничениях модели, чтобы не использовать ее ненадлежащим образом.

По словам Шах, наличие людей в цикле имеет значение, когда речь идет о справедливом использовании алгоритмов прогнозирования в клинике. Он указывает на широко используемый алгоритм, называемый уравнениями объединенных когорт, который предсказывает риск развития сердечно-сосудистого заболевания в ближайшие 10 лет. По словам Шах, алгоритм, как известно, переоценивает риски для жителей Восточной Азии. В результате клиницисты часто назначают статины пациентам из Восточной Азии с периодом, отличным от обычного 10-летнего риска в 75%.

«Алгоритмы не живут в вакууме», - говорит Шах. «Они созданы, чтобы принимать решения». Бывают ситуации, когда справедливость может заключаться в наличии двух разных значений отсечения для двух разных подгрупп, говорит он. «И мы прекрасно это делаем».

Наконец, если алгоритмическое исправление не работает, поставщики медицинских услуг должны рассмотреть возможность полного отказа от алгоритма. «На мой взгляд, это вполне жизнеспособный вариант», - говорит Шах. «Бывают ситуации, когда нам не следует использовать машинное обучение, точка. Это просто того не стоит».

Пфол соглашается: «Я бы сказал, что если вы находитесь в ситуации, когда прогнозирование не позволяет вам лучше помогать людям, тогда вы должны подвергнуть сомнению использование машинного обучения, точка. Вы должны сделать шаг назад и решить другая проблема или не решить проблему вообще ».


Источник


У данной публикации еще нет комментариев. Хотите начать обсуждение?

Написать комментарий
Имя:*
E-Mail:
Введите код: *
Кликните на изображение чтобы обновить код, если он неразборчив


Поиск по сайту
Полезные ссылки
Оцените работу сайта

TEHNONEWS

Новости космоса технологий нанотехнологий физики и химии