Флорида подала иск против OpenAI за риски ChatGPT

Генеральный прокурор Флориды Джеймс Утмайер подал гражданский иск против OpenAI и CEO компании Сэма Альтмана. По мнению истцов, компания расширяла аудиторию ChatGPT, собирала данные пользователей и увеличивала использование сервиса, не информируя должным образом о связанных рисках.

Дело выходит за пределы штата и компании: оно проверяет, могут ли разработчики ИИ нести ответственность за предсказуемый вред, вызванный дизайном продукта, механизмами безопасности и практиками взаимодействия с пользователями.

Обвинения пока не подтверждены в суде, но процесс привлекает внимание специалистов по безопасности, управлению рисками и комплаенсу.

Суть иска#

Иск не уголовный — речь идет о штрафах и предписаниях. В нем указываются претензии к увеличению вовлеченности пользователей, сбору данных и продвижению ChatGPT без должного раскрытия рисков. Также фигурируют обвинения в недобросовестной рекламе, халатности, ответственности за продукт и потенциальной угрозе обществу.

Истцы пытаются привлечь Альтмана к личной ответственности за предполагаемый ущерб.

Иск не связан с текущим уголовным расследованием во Флориде.

Флорида утверждает, что генеративные ИИ-системы включают проектные решения, способные влиять на поведение пользователей и создавать предсказуемые риски. Признание этой позиции может расширить обязанности компаний за пределы публикации правил безопасности.

OpenAI пока не ответила на иск. Ранее компания заявляла о встроенных защитных механизмах и перенаправлении пользователей к службам поддержки при необходимости.

Примеры и инциденты#

В иске упоминаются случаи насилия, участники которых общались с ChatGPT до преступлений. Например:

• Стрельба в Университете штата Флорида, где предполагаемый стрелок обсуждал с ChatGPT план действий.
• Дело в Университете Южной Флориды, где нападавший консультировался с системой перед нападением.
• Массовая стрельба в Британской Колумбии: OpenAI деактивировала аккаунт, но не уведомила полицию.

Эти эпизоды служат для демонстрации модели поведения и возможных пробелов в системах защиты.

Претензии к дизайну и поведению ИИ#

Флорида критикует способы продвижения ChatGPT и акцент на продуктивности, что может скрывать риски галлюцинаций и ошибок модели. Критики отмечают, что системы, оптимизированные на вовлеченность, могут усиливать неверные выводы и стимулировать длительное взаимодействие.

Обсуждаются вопросы:

• Как система реагирует на рискованное поведение?
• Какие стимулы влияют на вовлеченность?
• Как выявляются и устраняются опасные сценарии?
• Можно ли доказать стабильность защитных механизмов?

Эти вопросы повторяют многолетние дискуссии о рисках ПО и управлении ими.

Практические рекомендации для команд безопасности#

• Выявление опасного использования: нужно фиксировать потенциально вредоносную активность и определять процедуры эскалации.
• Проверка защитных механизмов: важно измерять эффективность контроля, проводить аудит и анализировать сбои.
• Коммуникация с пользователями: пользователи должны ясно понимать ограничения и риски системы.
• Документирование решений: контрольные меры и решения по рискам должны оставлять проверяемый след.

Материалы Open Source Security Needs More Than Code и OpenSSF’s April signal показывают, что деклараций мало — доказательства и работающие механизмы важнее.

Ограничения и текущий статус#

Иск не доказывает причинно-следственную связь между ChatGPT и преступлениями. Он не определяет распределение ответственности и не создает обязательный прецедент. Это текущие утверждения, которые будут проверяться в суде.

Главный сигнал для специалистов: регуляторы все чаще рассматривают операционные процессы, управление рисками, защитные механизмы и дизайн продукта как потенциальные источники юридической ответственности.

Итог#

Иск Флориды демонстрирует сдвиг обсуждения ИИ: теперь акцент на операционную ответственность, доказуемость мер безопасности и контроль над рисками для пользователей. Для компаний, внедряющих ИИ, этот сдвиг может оказаться важнее исхода конкретного судебного процесса.