Modelação da língua

Como funciona a modelação linguística?

A modelação da linguagem é uma tarefa no âmbito da aprendizagem automática (ML) em que um modelo é treinado para compreender e gerar linguagem humana. O processo começa por alimentar o modelo com grandes conjuntos de dados de texto, como o conteúdo da Wikipédia ou uma grande coleção de livros. Ao analisar estes dados, o modelo aprende as relações estatísticas entre as palavras.

Os modelos linguísticos modernos baseiam-se fortemente na aprendizagem profunda (DL) e são frequentemente construídos utilizando arquitecturas de redes neuronais (NN). A arquitetura Transformer, introduzida no artigo "Attention Is All You Need", tem sido particularmente revolucionária. Utiliza um mecanismo de atenção que permite ao modelo ponderar a importância de diferentes palavras no texto de entrada, permitindo-lhe captar dependências complexas e de longo alcance e compreender o contexto de forma mais eficaz. O treino do modelo envolve o ajuste dos pesos internos do modelo para minimizar a diferença entre as suas previsões e as sequências de texto reais nos dados de treino, um processo optimizado utilizando a retropropagação.

Aplicações reais da modelação linguística

As capacidades dos modelos linguísticos levaram à sua integração em inúmeras tecnologias que utilizamos diariamente.

• Texto preditivo e preenchimento automático: Quando o teclado do seu smartphone sugere a palavra seguinte à medida que escreve, está a utilizar um modelo de linguagem. Ao analisar a sequência de palavras que já escreveu, prevê a palavra mais provável a seguir, acelerando a comunicação. Esta tecnologia é uma caraterística essencial de sistemas como o Gboard da Google.
• Tradução automática: Serviços como o Google Translate e DeepL utilizam modelos linguísticos sofisticados para traduzir texto entre línguas. Não se limitam a substituir palavra por palavra; em vez disso, analisam o significado e a estrutura do texto de partida para gerar uma tradução gramaticalmente correta e contextualmente precisa na língua de chegada. Esta é uma aplicação dos modelos sequência-a-sequência.
• Criação e sumarização de conteúdos: Os modelos de linguagem são utilizados para a geração de texto, onde podem escrever artigos, e-mails ou histórias criativas. Também alimentam ferramentas de resumo de texto que condensam documentos longos em resumos concisos e são o núcleo de chatbots interactivos.

Conceitos relacionados

É útil distinguir a modelação da linguagem de termos relacionados:

• Processamento de linguagem natural (PNL): A modelação da linguagem é um subcampo ou uma tarefa essencial no âmbito da PNL. A PNL é o domínio mais vasto que permite aos computadores processar, analisar e compreender a linguagem humana em geral. Veja a nossa visão geral da PNL.
• Modelos de linguagem de grande porte (LLMs): Trata-se essencialmente de modelos linguísticos muito grandes e poderosos, normalmente construídos utilizando a arquitetura Transformer e treinados em enormes conjuntos de dados, muitas vezes tirando partido dos princípios de Big Data. Os exemplos incluem modelos como o GPT-4 e o BERT. Os LLMs são frequentemente considerados Modelos de Fundação, um conceito detalhado pelo Centro de Investigação de Modelos de Fundação (CRFM) de Stanford.
• Visão por computador (CV): Enquanto os modelos linguísticos processam texto, a CV centra-se na capacidade de as máquinas interpretarem e compreenderem informações visuais de imagens e vídeos. As tarefas incluem a deteção de objectos, a classificação de imagens e a segmentação de imagens, frequentemente abordadas por modelos como o Ultralytics YOLO. A intersecção destes domínios é explorada em modelos multimodais e modelos de linguagem visual, que processam dados visuais e de texto. Plataformas como o Ultralytics HUB simplificam a formação e a implementação de vários modelos de IA, incluindo os que se destinam a tarefas de visão. Pode explorar várias tarefas de CV suportadas pelo Ultralytics.