Подрядчик по кризисным ситуациям для OpenAI, Anthropic рассматривает меры по борьбе с экстремизмом

СИДНЕЙ, Австралия – Люди, которые проявляют тенденции к насильственному экстремизму в ChatGPT, будут направлены к человеческой и чат-бот поддержке по дерадикализации через новый инструмент, разрабатываемый в Новой Зеландии, заявили его создатели.

Эта инициатива является последней попыткой решить вопросы безопасности в условиях растущего числа судебных исков, обвиняющих компании в сфере ИИ в неспособности остановить и даже в содействии насилию.

OpenAI получил угрозу вмешательства со стороны правительства Канады в феврале после того, как раскрыл, что человек, совершивший смертельную стрельбу в школе, был заблокирован на платформе без уведомления властей.

ThroughLine, стартап, нанятый в последние годы владельцем ChatGPT OpenAI, а также конкурентами Anthropic и Google для перенаправления пользователей к кризисной поддержке, когда они отмечены как находящиеся под угрозой причинения себе вреда, домашнего насилия или расстройства пищевого поведения, также изучает способы расширения своих предложений, включая предотвращение насильственного экстремизма, заявил его основатель и бывший работник по работе с молодежью Эллиот Тейлор.

Компания ведет переговоры с The Christchurch Call, инициативой по искоренению онлайн-ненависти, созданной после худшего теракта в Новой Зеландии в 2019 году, которая будет включать предоставление рекомендаций антиэкстремистской группой, в то время как ThroughLine разрабатывает интервенционный чат-бот, сказал бывший работник по работе с молодежью.

«Это то, к чему мы хотели бы двигаться и выполнять более качественную работу по охвату, а затем иметь возможность лучше поддерживать платформы», – сказал Тейлор в интервью, добавив, что временные рамки не установлены.

OpenAI подтвердила отношения с ThroughLine, но отказалась комментировать дальше. Anthropic и Google немедленно не ответили на запросы о комментариях.

Фирма Тейлора, которой он управляет из своего дома в сельской местности Новой Зеландии, стала популярной среди компаний в сфере ИИ благодаря своему предложению постоянно проверяемой сети из 1 600 горячих линий в 180 странах.

Как только ИИ обнаруживает признаки потенциального кризиса психического здоровья, он направляет пользователя в ThroughLine, который сопоставляет их с доступной службой, управляемой людьми, поблизости.

Но охват ThroughLine был ограничен определенными категориями, сказал основатель. Широта проблем психического здоровья, которые люди раскрывают онлайн, взорвалась с популярностью чат-ботов на базе ИИ и теперь включает связи с экстремизмом, добавил он.

Больше чат-ботов, больше проблем

Инструмент по борьбе с экстремизмом, вероятно, будет гибридной моделью, сочетающей чат-бот, обученный реагировать на людей, проявляющих признаки экстремизма, и направления в реальные службы психического здоровья, сказал Тейлор.

«Мы не используем обучающие данные базовой LLM», – сказал он, имея в виду общие наборы данных, которые платформы больших языковых моделей используют для формирования связного текста. «Мы работаем с правильными экспертами». Технология в настоящее время тестируется, но дата выпуска не установлена.

Гален Ламфер-Энглунд, советник по борьбе с терроризмом, представляющий The Christchurch Call, сказал, что надеется запустить продукт для модераторов игровых форумов, а также для родителей и опекунов, которые хотят искоренить экстремизм онлайн.

Инструмент перенаправления чат-бота был «хорошей и необходимой идеей, потому что он признает, что проблема заключается не только в контенте, но и в динамике отношений», – сказал Генри Фрейзер, исследователь ИИ в Технологическом университете Квинсленда.

Успех продукта может зависеть от вопросов «насколько хороши механизмы последующих действий и насколько хороши структуры и отношения, в которые они направляют людей для решения проблемы», – сказал он.

Тейлор сказал, что функции последующих действий, включая возможные оповещения властей об опасных пользователях, еще предстоит определить, но они будут учитывать любой риск спровоцировать эскалацию поведения.

Он сказал, что люди в бедственном положении, как правило, делятся вещами онлайн, которые им слишком стыдно сказать человеку, и правительства рискуют усугубить опасность, если оказывают давление на платформы, чтобы отключить пользователей, участвующих в деликатных разговорах.

Усиленная модерация, связанная с воинственностью платформами под давлением правоохранительных органов, привела к тому, что сочувствующие переместились на менее регулируемые альтернативы, такие как Telegram, согласно исследованию 2025 года Центра бизнеса и прав человека Стерна Нью-Йоркского университета.

«Если вы разговариваете с ИИ и раскрываете кризис, и он прекращает разговор, никто не знает, что это произошло, и этот человек все еще может остаться без поддержки», – сказал Тейлор. – Rappler.com