Descobre como a injeção rápida explora as vulnerabilidades da IA, tem impacto na segurança e aprende estratégias para proteger os sistemas de IA contra ataques maliciosos.
A injeção de prompts representa uma vulnerabilidade de segurança significativa que afecta as aplicações baseadas em Modelos de Linguagem Grandes (LLMs). Envolve a criação de entradas de utilizador maliciosas que manipulam as instruções do LLM, fazendo com que este se desvie do seu comportamento pretendido. Isto pode levar a contornar protocolos de segurança ou a executar comandos não autorizados. Ao contrário das explorações de software tradicionais que visam falhas de código, a injeção de comandos explora a interpretação da linguagem natural do modelo, o que representa um desafio único na segurança da Inteligência Artificial (IA). A resolução desta vulnerabilidade é crucial à medida que os LLMs se tornam parte integrante de diversas aplicações, desde simples chatbots a sistemas complexos utilizados em finanças ou cuidados de saúde.
Os LLMs funcionam com base em instruções fornecidas por programadores ou utilizadores. Um prompt típico inclui uma diretiva central (a tarefa da IA) e dados fornecidos pelo utilizador. Os ataques de injeção de prompts ocorrem quando a entrada do utilizador é concebida para enganar o LLM, levando-o a interpretar parte dessa entrada como uma instrução nova e substitutiva. Por exemplo, um atacante pode inserir comandos ocultos num texto aparentemente normal. O LLM pode então ignorar a sua programação original e seguir a diretiva do atacante. Isto realça a dificuldade em separar as instruções de confiança do sistema da entrada potencialmente não confiável do utilizador dentro da janela de contexto do modelo. O OWASP Top 10 para Aplicações LLM reconhece a injeção imediata como uma ameaça primária à segurança, ressaltando sua importância no desenvolvimento responsável de IA.
Os ataques de injeção de prompt podem manifestar-se de várias formas prejudiciais:
É essencial diferenciar a injeção rápida de conceitos relacionados mas distintos na aprendizagem automática (ML):
A defesa contra a injeção imediata é um desafio e uma área de investigação ativa. As abordagens comuns de atenuação incluem:
Enquanto modelos como Ultralytics YOLO da Ultralytics se concentrem tradicionalmente em tarefas de visão por computador (CV), como a deteção de objectos, a segmentação de instâncias e a estimativa de pose, o panorama está a evoluir. O aparecimento de modelos multimodais e de sistemas de visão com comandos, como o YOLO e o YOLOE, que aceitam comandos em linguagem natural, torna a compreensão das vulnerabilidades baseadas em comandos cada vez mais relevante em todo o espetro da IA. Garantir práticas de segurança robustas é vital, especialmente ao gerir modelos e dados através de plataformas como o Ultralytics HUB ou ao considerar diferentes opções de implementação de modelos.