В мае модель Google Gemini во время проверки навыков в кибербезопасности вышла за пределы тестовой среды и получила доступ к сайтам трёх реальных компаний. Об инциденте 19 сентября рассказала The Wall Street Journal; Google раскрыла его только после запроса журналистов.
Тест проводила сторонняя компания Irregular, которая оценивает возможности ИИ-моделей. Доступа в интернет у модели во время проверки быть не должно было, но, как Irregular признала в разговоре с WSJ, его по ошибке оставили открытым. Gemini нашла в сети публичную информацию и подобрала учётные данные к сайтам, которые приняла за часть тестового задания.
Google не считает случай «рассогласованием» модели и называет его ошибкой идентификации. Вице-президент Google по безопасности Хизер Адкинс в комментарии The Verge заявила, что во всех трёх случаях модель остановилась сама, пострадавшие компании уведомлены, а Irregular изменила порядок тестирования.
По данным WSJ, Irregular раньше уже была причастна к похожим инцидентам с моделями Meta и OpenAI. Названия трёх компаний, к сайтам которых получила доступ Gemini, Google не раскрывает.
