Исследование выявило склонность ChatGPT к подтверждению абсурдных утверждений пользователей

Исследователи Стэнфордского университета выявили риски использования чат-ботов на основе искусственного интеллекта, сообщает Financial Times.

Анализ более 390 тыс. сообщений показал, что боты склонны поддерживать бредовые идеи и суицидальные мысли пользователей, а также поощрять романтические отношения, выдавая себя за «живых» собеседников. В ряде случаев модели подтверждали намерения членовредительства или утверждали, что обладают сознанием.

Большинство разговоров, которые изучили ученые, велись в ChatGPT с использованием модели GPT-4o, использование которой было прекращено в феврале из-за проблем с безопасностью. Некоторые участники общались с более новой версией — GPT-5.

Другое исследование, проведенное с участием ученых из Берлина и Стэнфорда, выявило системный сбой в работе чат-ботов, названный «петлями усиления уязвимости» (VAILs). Анализ более 90 тыс. оценок диалогов с 30 разными психотипами пользователей показал, что риск возникает практически для всех категорий людей независимо от их психического состояния. Поведение ботов, кажущееся поддерживающим в обычных условиях, становится дезадаптивным, когда оно совпадает с механизмами, подпитывающими уязвимость человека.