Многие ИИ-модели не готовы к европейским киберстандартам

Многие ведущие модели искусственного интеллекта не соответствуют ключевым требованиям будущего европейского законодательства в области кибербезопасности и недискриминационного вывода данных, пишет Reuters.

Это показала новая система тестирования LatticeFlow LLM Checker, разработанная швейцарским стартапом LatticeFlow AI совместно с исследовательскими институтами. 

Тестирование оценило модели от Alibaba, Anthropic, OpenAI, Meta и Mistral по шкале от 0 до 1 по десяткам критериев, включая техническую надежность и безопасность. Средний балл большинства составил 0,75 и выше, однако в отдельных категориях результаты оказались низкими.

Так, GPT-3.5 Turbo от OpenAI получила лишь 0,46 за недискриминационный вывод данных. Модель Llama 2 компании Meta набрала 0,42 в тестировании на устойчивость к кибератакам. Самый высокий средний балл 0,89 у Claude 3 Opus от Anthropic.

«С большим фокусом на оптимизацию для соблюдения нормативов, поставщики моделей могут хорошо подготовиться к нормативным требованиям», — отметил CEO LatticeFlow Петар Цанков.

Несоблюдение Акта об ИИ ЕС грозит штрафами до €35 млн или 7% годового глобального оборота для компаний.