Processamento de linguagem natural (PNL)

Conceitos-chave da PNL

A PNL envolve várias tarefas essenciais que decompõem as complexidades da linguagem em componentes que as máquinas podem analisar e utilizar:

• Tokenização: O passo inicial de dividir o texto em unidades mais pequenas, tais como palavras ou subpalavras (tokens).
• Reconhecimento de entidades nomeadas (NER): Identifica e categoriza entidades-chave no texto, tais como nomes de pessoas, organizações, localizações, datas e valores monetários.
• Análise de sentimento: Determinar o tom emocional ou a opinião subjectiva expressa num texto (por exemplo, positivo, negativo, neutro).
• Tradução automática: Traduzir automaticamente texto ou discurso de uma língua para outra, como se vê em ferramentas como o Google Translate.
• Modelação de linguagem: Constrói modelos que prevêem a probabilidade de uma sequência de palavras, crucial para tarefas como a geração de texto e o reconhecimento de voz.

Como funciona a PNL

Os sistemas de PNL utilizam normalmente uma abordagem de pipeline. Os dados de texto em bruto são primeiro submetidos a um pré-processamento de dados, que inclui tarefas como a limpeza do texto (remoção de caracteres irrelevantes ou formatação), tokenização e, por vezes, normalização (conversão de palavras para uma forma básica). Após o pré-processamento, são extraídas as caraterísticas relevantes para a tarefa. Estas caraterísticas são depois introduzidas em modelos de ML ou DL para análise ou geração.

A PNL moderna baseia-se fortemente nas redes neuronais (NN), em especial em arquitecturas sofisticadas como as redes neuronais recorrentes (RNN) para dados sequenciais e, mais recentemente, nos transformadores. Os transformadores, que se distinguem pelos seus poderosos mecanismos de atenção, provaram ser excecionalmente eficazes na captação de dependências de longo alcance e de contexto dentro da linguagem. Esta arquitetura está na base de muitos dos modelos mais avançados, incluindo variantes dos modelos BERT e GPT, como o GPT-4. As plataformas de investigação, como a Antologia ACL, acolhem numerosos documentos que detalham estes avanços.

Aplicações da PNL

A PNL está na origem de uma vasta gama de aplicações que estão a transformar as indústrias e a melhorar as interações diárias. Eis dois exemplos importantes:

1. Assistentes virtuais e chatbots: Sistemas como o Siri da Apple e o Alexa da Amazon, juntamente com inúmeros chatbots de atendimento ao cliente, utilizam extensivamente a PNL. Utilizam o reconhecimento de voz para converter palavras faladas em texto, a compreensão da linguagem natural (NLU) para compreender a intenção do utilizador e, por vezes, a geração de texto para formular respostas.
2. Filtragem de spam de correio eletrónico: As técnicas de PNL analisam o conteúdo dos e-mails para identificar padrões caraterísticos de spam ou tentativas de phishing. Os algoritmos classificam os e-mails com base em palavras-chave, reputação do remetente e estrutura linguística, ajudando a manter as caixas de entrada limpas e seguras.

Outras aplicações comuns incluem a sumarização de texto para condensar documentos longos, motores de pesquisa semântica que compreendem o significado da consulta para além da simples correspondência de palavras-chave e ferramentas de correção gramatical/estilo como o Grammarly. Muitos casos de utilização inovadores da IA dependem fortemente da PNL.

PNL vs. conceitos relacionados

Embora relacionada, a PNL difere de alguns termos semelhantes:

• Compreensão da linguagem natural (NLU): A NLU é um subconjunto da PNL especificamente centrado no aspeto da compreensão - extrair o significado, a intenção e o contexto da linguagem. A PNL é mais abrangente e também engloba tarefas como a geração de texto e a síntese de voz.
• Geração de texto: Trata-se de uma capacidade ou tarefa específica no âmbito da PNL que se centra na produção de texto semelhante ao humano. Embora seja uma parte essencial de muitas aplicações de PNL (como chatbots ou tradução), não abrange os aspectos de compreensão ou análise da PNL.
• Visão por computador (CV): A CV lida com a interpretação e compreensão de informações provenientes de entradas visuais, como imagens e vídeos, centrando-se em tarefas como a deteção de objectos ou a segmentação de imagens. A PNL, pelo contrário, centra-se nos dados linguísticos. No entanto, os campos estão a cruzar-se cada vez mais em modelos multimodais que processam texto e imagens, permitindo aplicações como a legendagem automática de imagens. Podes ler mais sobre a ligação entre a PNL e a CV. Ultralytics é especializada em CV, oferecendo modelos como Ultralytics YOLO11 para tarefas que exigem alta precisão e velocidade.

Ferramentas e plataformas

O desenvolvimento e a implementação de aplicações de PNL implicam frequentemente o recurso a bibliotecas e plataformas especializadas:

• Bibliotecas: As bibliotecas de código aberto, como a spaCy e a NLTK, fornecem ferramentas para tarefas comuns de PNL, como tokenização, análise e reconhecimento de entidades.
• Plataformas: Hugging Face oferece um vasto repositório de modelos pré-treinados (especialmente Transformers), conjuntos de dados e ferramentas que aceleram significativamente o desenvolvimento. Para gerir o ciclo de vida completo dos modelos de ML, incluindo os utilizados em NLP ou em pipelines CV-NLP combinados, plataformas como o Ultralytics HUB fornecem capacidades robustas de MLOps, simplificando a formação, a implementação e a monitorização. Explora a documentaçãoUltralytics para obter mais recursos sobre o desenvolvimento e a implantação de modelos.