Как поисковые системы делают нас более расистскими

Yesani Chida Chathu Chothetsa Mavuto

В новой книге показано, как поисковые алгоритмы Google незаметно укрепляют расистские стереотипы.

Getty Images / EyeEm

Поисковые системы делают нас более расистскими?

По словам Сафии Умоджи Ноубл, профессора коммуникации в Университете Южной Калифорнии, ответ почти наверняка положительный.

Новая книга Нобла, Алгоритмы угнетения: как поисковые системы усиливают расизм , ставит под сомнение идею о том, что поисковые системы, такие как Google, предоставляют равные условия для всех идей, ценностей и идентичностей. Она говорит, что они по своей сути дискриминационны и отдают предпочтение группам, которые их создали, а также компаниям, которые их финансируют.

Это нетривиальная тема, особенно в мире, где люди получают больше информации из поисковых систем, чем от учителей или библиотек. Для Noble Google не просто сообщает людям то, что они хотят знать, но и определяет, что в первую очередь стоит знать.

На прошлой неделе я обратился к Ноубл, чтобы узнать, что она узнала о невидимых факторах, влияющих на эти алгоритмы, и о возможных последствиях их игнорирования.

Ниже следует слегка отредактированная стенограмма нашего разговора.

Шон Иллинг

О чем вы спорите в этой книге?

Сафия Юнайтед Нобл

Я утверждаю, что крупные транснациональные рекламные платформы в Интернете не являются надежными публичными информационными порталами. Большинство людей думают о Google и поисковых системах, в частности, как о публичной библиотеке или как о надежном месте, где они могут получить точную информацию о мире. Я привожу множество примеров, чтобы показать невероятное влияние долларов на рекламу на то, что мы находим, и показываю, как определенные люди и сообщества искажаются, чтобы зарабатывать деньги на этих платформах.

Шон Иллинг

Кого и как искажают?

Сафия Юнайтед Нобл

Я начал писать книгу несколько лет назад, проводя коллективный поиск по ключевым словам, касающимся различных общинных идентичностей. Я провел поиск по темнокожим девушкам, азиатским девушкам и латинским девушкам в Интернете и обнаружил, что порнография была основным способом их представления на первой странице результатов поиска. Это не кажется очень справедливым или заслуживающим доверия представлением цветных женщин в Соединенных Штатах. Он сводит их к сексуализированным объектам.

Возникает вопрос: что происходит в этих поисковых системах? Какие хорошо финансируемые и капитализированные отрасли стоят за ними, которые покупают ключевые слова и используют свое влияние для представления людей и идей таким образом? Книга была моей попыткой ответить на эти вопросы.

Шон Иллинг

Итак, в то время, когда вы проводили это исследование, если кто-то заходил в Google и искал чернокожих женщин, они получали кучу порнографии. Что произойдет, если они напечатают белых девушек или белых женщин? Или если они ищут то, что должно быть универсальной категорией, например, красивые люди?

Сафия Юнайтед Нобл

Теперь, к счастью, Google отреагировал на это. Они подавили большое количество порно, отчасти потому, что мы говорили об этом шесть или семь лет. Но если вы сегодня зайдете в Google и поищете азиатских или латиноамериканских девушек, вы все равно найдете гиперсексуальный контент.

Долгое время, если вы выполняли поиск изображений по слову «красивая», вы получали бы скудно одетые изображения почти исключительно белых женщин в бикини или нижнем белье. Представления были преимущественно белыми женщинами.

Люди часто спрашивают, что происходит, когда вы обыскиваете белых девушек. Белые женщины обычно не идентифицируют себя с белыми; они просто думают о себе как о девушках, женщинах или отдельных лицах. Я думаю, что вы видите здесь взгляды цветных людей, которые смотрят на белых женщин и девочек и называют белизну своей идентичностью, что вы обычно не видите, чтобы белые женщины делали это сами.

Шон Иллинг

Эти поисковые алгоритмы не просто выбирают, какую информацию мы видим; они укрепляют предположения о том, какую информацию стоит знать в первую очередь. Возможно, это самая коварная часть всего этого.

Сафия Юнайтед Нобл

Существует доминирующая мужская, ориентированная на Запад точка зрения, которая закодирована в организации информации. Вы должны помнить, что алгоритм - это просто автоматизированное дерево решений. Если эти ключевые слова присутствуют, то необходимо сделать множество предположений о том, на что указывать во всех триллионах страниц, существующих в сети.

И эти решения всегда зависят от отношения рекламодателей к платформе. У Google есть огромная империя под названием AdWords, и люди делают ставки на аукционе в реальном времени, чтобы оптимизировать свой контент.

Эта модель - информация, идущая к тому, кто больше заплатит, - всегда будет отдавать предпочтение людям, у которых больше всего ресурсов. А это означает, что люди, у которых мало ресурсов, например дети, никогда не смогут полностью контролировать способы их представления, учитывая логику и механизмы работы поисковых систем.

Шон Иллинг

В книге вы рассказываете о том, как расистские веб-сайты использовали поисковые системы, чтобы контролировать повествование о Мартине Лютере Кинге-младшем, так что, если вы будете искать MLK, вы найдете ссылки на пропаганду белого превосходства. Вы также говорите о сделанных ставках и указываете на Дилан Крыша В качестве примера.

Сафия Юнайтед Нобл

В своем манифесте Дилан Руф обличает цветных людей и говорит, что первым событием, которое действительно его разбудило, была история Трейвона Мартина. Он говорит, что пошел в Google и провел поиск по преступлениям между черными и белыми. Теперь большинство из нас знает, что преступность «черных по белому» - это не американская эпидемия - что, по сути, большинство преступлений совершается внутри сообщества. Но это отдельный разговор.

Итак, Руф идет в Google и устраивает отвлекающий маневр для белых националистов (преступление «черное против белого»). И, конечно же, он сразу же попадает на веб-сайты сторонников превосходства белых, которые, в свою очередь, уводят его в кроличью нору расистского заговора и дезинформации. Часто эти расистские веб-сайты создаются так, чтобы казаться заслуживающими доверия и безобидными, отчасти потому, что это помогает им обыгрывать алгоритмы, но также потому, что убеждает множество людей в правдивости информации.

Вот как радикализируется Roof. Он говорит, что узнает об истинной истории Америки, а также о проблеме расы и проблеме евреев. Он узнает, что все, чему его когда-либо учили в школе, - ложь. А затем он своими собственными словами говорит, что это заставляет его исследовать все больше и больше, что, как мы можем только представить, находится в сети, и это приводит к его расовому осознанию.

И теперь мы знаем, что вскоре после этого он входит в церковь Матери Эмануэля AME в Чарльстоне, Южная Каролина, и хладнокровно убивает девять афроамериканских прихожан, чтобы развязать расовую войну.

Так что идеи, с которыми люди сталкиваются в Интернете, действительно имеют значение. Важно то, что Дилан Руф не видел статистику ФБР, которая говорит правду о том, как преступность устроена в Америке. Важно то, что он не получил никаких контрапунктов. Важно то, что таких людей, как он, подталкивают в этом направлении без сопротивления или контекста.

Шон Иллинг

Я предполагаю, что эти алгоритмы не были предназначены для создания такого эффекта, но я, честно говоря, не знаю. Что движет процессом принятия решений? Это чисто коммерческие интересы?

Сафия Юнайтед Нобл

Трудно точно сказать, каковы приоритеты Google, потому что алгоритм поиска Google является проприетарным, поэтому никто не может понять алгоритм, кроме как по результатам. Все из нас, кто изучает это, делают это, глядя на конечные результаты, а затем мы пытаемся реконструировать это как можно лучше.

Но да, совершенно очевидно, что в конечном итоге технологическими компаниями, такими как Google, движет прибыль. Я не могу себе представить, чтобы группа расистов сидела за столом в Google и думала о способах создания расистского продукта, но что происходит, однако, так это то, что инженеры просто не думают о социальных последствиях своей работы. Они разрабатывают технологии для общества и ничего не знают об обществе.

В своих собственных маркетинговых материалах Google говорит, что существует более 200 различных факторов, влияющих на решение, какой тип контента они отображают. Я уверен, что у них есть свои собственные критерии релевантности того, чего, по их мнению, хотят люди. Конечно, они также используют технологии прогнозирования, такие как самовнушение, где заполняют пустые поля. Они делают это на основе того, что другие люди смотрели или нажимали в прошлом.

Они разрабатывают технологии для общества и ничего не знают об обществе.

Шон Иллинг

Но инструмент самовнушения гарантирует, что точка зрения большинства будет всегда выше других, верно?

Сафия Юнайтед Нобл

Верно. Люди, которые составляют численное меньшинство в обществе, никогда не смогут использовать такую ​​логику правил большинства в своих интересах. Большинство всегда сможет контролировать представления о том, что важно или на что важно нажать, и это не то, как должна работать информационная среда.

Шон Иллинг

Я уверен, что некоторые люди возразят и скажут, что это, по сути, нейтральные платформы, и если они предвзяты, они предвзяты из-за людей-пользователей, которые их составляют. Другими словами, проблема не в платформе; это люди.

Сафия Юнайтед Нобл

Платформа существует, потому что ее сделали люди. Он не прилетел с космического корабля пришельцев. Это делают люди, а люди, которые делают это, предвзяты и кодируют свои предубеждения в поиске. Как это может не повлиять на их суждение?

Так что неискренне предполагать, что платформа существует сама по себе и что единственные люди, которые могут ею манипулировать или влиять, - это люди, которые ее используют, хотя на самом деле создатели платформы несут основной источник ответственности. Я бы сказал, что есть не только пользователи, но и создатели платформы. Они должны нести ответственность за свои творения.