Gemini учится шпионить: как безвредную модель пытаются превратить в Орудие

Специальный корреспондент
Собака

Собака

Пресс-служба
Ветеран пробива
Private Club
Регистрация
13/10/15
Сообщения
55.886
Репутация
63.890
Реакции
279.532
RUB
0
Фальшивые резюме, ядерные секреты… На что способен ИИ под руководством спецслужб?

wuehawoljksq5kp7cad3g4a6la1ysgir.jpeg


Исследователи Google Threat Intelligence Group (GTIG) отмечают: хакерские группировки все чаще прибегают к помощи искусственного интеллекта, чтобы прокачать свои схемы и добиться лучших результатов. Однако, как выяснилось, получается у них пока что неважно…

Специалисты анализировали, как злоумышленники пытаются использовать их ИИ-ассистента Gemini. Большинство атак оказались примитивными – преступники просто брали базовые методы и общедоступные приемы для обхода ограничений в запросах (jailbreak prompts), не проявляя никакой изобретательности.

LLM, как выяснилось, чаще всего помогают в двух преступных активностях. Либо автоматизируют рутинные задачи вроде написания кода и создания вредоносных материалов, либо пытаются заставить модели выполнять злонамеренные действия – например, искать и похищать данные.

Особо пристально в GTIG следили за северокорейскими хакерами . Те пытались с помощью Gemini составлять сопроводительные письма и искать работу в зарубежных компаниях – как фриланс-проекты, так и позиции с полной занятостью. Одна из группировок тщательно изучала средние зарплаты разных специалистов и писала описания вакансий. Помимо этого, хакеров интересовали стратегически важные темы – южнокорейские ядерные технологии и криптовалюты (впрочем, ничего нового).

Северокорейские группы показали высокий уровень технической подготовки. Кроме Gemini, они умело пользуются генераторами изображений, чтобы создавать фальшивые профили, а также специальными инструментами для фишинговых писем. Самые продвинутые банды с помощью Gemini изучают инфраструктуру, ищут бесплатные хостинги и собирают сведения о потенциальных целях.

Чаще всех к модели обращались злоумышленники, связанные с Ираном. Они тоже задействовали ИИ-ассистента по-разному: изучали оборонные организации и их уязвимости, готовили материалы для вредоносных кампаний, создавали фишинговые приманки и вели разведку. Особенно часто они писали тексты на темы кибербезопасности. Всего GTIG выявила более 10 иранских хакерских групп, которые работали с Gemini. Еще восемь групп, отвечающих за информационные операции, использовали модель, чтобы придумывать заголовки статей, готовить SEO-контент, делать переводы и писать тенденциозные тексты.

Китайцам Gemini помогает в разведке, написании скриптов и отладке программ. Шпионов из Поднебесной больше интересует, как взламывать сети, перемещаться внутри них, повышать привилегии, похищать данные и обходить системы защиты. По данным GTIG, примерно три четверти такой активности приходилось на прокитайскую группу DRAGONBRIDGE.

В итоге исследователи выделили два общих направления, по которым злоумышленники используют Gemini. Правительственные хакеры программируют с его помощью, собирают информацию о целях, изучают известные уязвимости и пытаются обойти защиту взломанных систем. Группы, отвечающие за пропаганду, проводят исследования, создают контент, делают переводы и ищут способы расширить свою аудиторию.

Попытки эксплуатировать Gemini, чтобы обойти защиту сервисов Google или систему проверки аккаунтов, еще ни у кого не увенчались успехом. При попытках заставить модель выполнить вредоносные действия она автоматически включала защитные механизмы. Однако в Google предупреждают: хотя современные LLM пока не дают хакерам больших преимуществ, мир ИИ стремительно меняется. Появляются новые системы, которые злоумышленники наверняка попробуют взять на вооружение. При этом в Google подчеркивают: искусственный интеллект может изменить и методы цифровой защиты.







 
  • Теги
    gemini
  • Назад
    Сверху Снизу