Modelo de língua grande (LLM)

Definição

Um Modelo de Linguagem de Grande Dimensão é fundamentalmente uma rede neural sofisticada (NN), tipicamente baseada na arquitetura Transformer, introduzida no influente artigo"Attention Is All You Need". O "grande" em LLM refere-se ao enorme número de parâmetros - variáveisajustadas durante o treino - que podem variar entre milhares de milhões e até triliões. Geralmente, um maior número de parâmetros permite que o modelo aprenda padrões mais complexos a partir dos dados.

Os LLMs aprendem estes padrões através de aprendizagem não supervisionada em corpora de texto massivos recolhidos da Internet, livros e outras fontes, frequentemente designados por Big Data. Este processo ajuda-os a compreender a gramática, os factos, as capacidades de raciocínio e até nuances como o tom e o estilo, embora também os possa levar a aprender preconceitos presentes nos dados de treino. Uma capacidade essencial desenvolvida durante a formação é a previsão das palavras seguintes numa frase. Esta capacidade de previsão constitui a base para tarefas mais complexas, como a geração de texto, a modelação de linguagem e a resposta a perguntas.

Exemplos bem conhecidos incluem a série GPT da OpenAI (como o GPT-4), os modelos Llama da Meta AI, como o Llama 3, o Gemini da Google DeepMind e o Claude da Anthropic.

Aplicações

A versatilidade das LLMs permite a sua aplicação em diversos domínios. Eis dois exemplos concretos:

• IA de conversação: Os LLMs são os motores por detrás de muitos chatbots e assistentes virtuais avançados. Permitem que estes sistemas compreendam as perguntas dos utilizadores, mantenham o contexto das conversas e gerem respostas naturais. Um excelente exemplo é o ChatGPT da OpenAI, que utiliza LLMs para participar em diálogos detalhados, responder a perguntas de seguimento e até admitir erros.
• Criação e resumo de conteúdo: Os LLMs podem ajudar os humanos a gerar várias formas de conteúdo escrito, incluindo artigos, e-mails, textos de marketing e escrita criativa. Também são adeptos da Sumarização de Texto, condensando documentos extensos em resumos concisos, o que ajuda a combater a sobrecarga de informação. Ferramentas como o Jasper e o Microsoft Copilot utilizam os LLMs para estes fins.

Conceitos-chave

Compreender os LLMs implica familiarizar-se com vários conceitos relacionados:

• Modelos de fundação: Os LLMs são frequentemente considerados modelos de base porque são treinados com base em dados alargados e podem ser adaptados (ou aperfeiçoados) para uma vasta gama de tarefas a jusante sem necessidade de serem treinados de raiz.
• Mecanismos de atenção: Particularmente a auto-atenção, estes mecanismos permitem que o modelo pondere a importância de diferentes palavras (tokens) na sequência de entrada ao processar uma determinada palavra. Isto é crucial para compreender o contexto e as relações dentro do texto.
• Engenharia rápida: Refere-se à arte e à ciência de conceber sugestões de entrada eficazes para orientar um LLM no sentido de gerar o resultado desejado. A qualidade do estímulo influencia significativamente a precisão e a relevância da resposta. Técnicas como a cadeia de pensamento ajudam a melhorar o raciocínio em tarefas complexas.
• Tokenização: Antes de processar o texto, os LLMs dividem-no em unidades mais pequenas chamadas tokens. Estes tokens podem ser palavras, sub-palavras ou caracteres. A tokenização converte o texto bruto num formato numérico que o modelo pode entender. Plataformas como Hugging Face fornecem ferramentas e informações sobre diferentes estratégias de tokenização.

LLMs vs. Modelos de visão computacional

Embora os LLMs sejam excelentes em tarefas linguísticas, diferem significativamente dos modelos concebidos principalmente para a Visão por Computador (CV). Os modelos CV, como o Ultralytics YOLO da Ultralytics (e.g, YOLOv8YOLOv9, YOLOv10 e YOLO11), são especializados na interpretação de informações visuais de imagens ou vídeos. As suas tarefas incluem a deteção de objectos, a classificação de imagens e a segmentação de instâncias.

No entanto, a fronteira está a esbater-se com o aparecimento de modelos multimodais e modelos de linguagem visual (VLMs). Estes modelos, como o GPT-4o da OpenAI ou o Gemini da Google, integram a compreensão de diferentes modalidades (por exemplo, texto e imagens), permitindo tarefas como a descrição de imagens ou a resposta a perguntas sobre conteúdos visuais.

Plataformas como o Ultralytics HUB fornecem ferramentas e infra-estruturas para treinar e implementar vários modelos de IA, incluindo os que se destinam a tarefas de visão, facilitando o desenvolvimento de diversas aplicações de IA. À medida que os LLMs e outros modelos de IA se tornam mais poderosos, as considerações em torno da ética da IA, da parcialidade algorítmica e da privacidade dos dados tornam-se cada vez mais importantes. Para mais informações sobre conceitos de IA e comparações de modelos, explora a documentaçãoUltralytics e as páginas de comparação de modelos.