GPT-3

Arquitetura e formação

O GPT-3 utiliza a arquitetura Transformer, especificamente a parte do descodificador, que se baseia fortemente em mecanismos de auto-atenção para ponderar a importância das diferentes palavras (representadas como tokens) na sequência de entrada. A sua natureza "pré-treinada" significa que foi treinado num conjunto de dados maciço que inclui texto da Internet e livros digitalizados antes de ser lançado. Este treino extensivo em dados diversos permite ao modelo aprender gramática, factos, capacidades de raciocínio e diferentes estilos de escrita. A maior versão do GPT-3 tem 175 mil milhões de parâmetros, que são as variáveis que o modelo aprende durante o treino. Esta escala não tinha precedentes na altura do seu lançamento e contribuiu significativamente para o seu desempenho, tal como documentado no artigo de investigação original do GPT-3.

Capacidades e aplicações

O GPT-3 é excelente na geração de texto coerente e contextualmente relevante. As suas capacidades estendem-se a várias tarefas de PNL, muitas vezes exigindo exemplos mínimos específicos da tarefa, um conceito conhecido como aprendizagem de poucos disparos ou mesmo aprendizagem de zero disparos. As principais aplicações incluem:

• Geração de texto: Cria artigos, histórias, e-mails e outros conteúdos escritos.
• Tradução automática: Traduz textos entre diferentes línguas.
• Sumarização de texto: Condensa documentos longos em resumos mais curtos.
• Resposta a perguntas: Fornece respostas a perguntas com base no contexto de entrada ou no seu conhecimento aprendido.
• Geração de código: Ajuda os programadores a escrever trechos de código em várias linguagens de programação.
• Chatbots e assistentes virtuais: Potencializar agentes de conversação capazes de dialogar.

Dois exemplos concretos da aplicação da GPT-3 incluem a alimentação das primeiras versões da IA de conversação, como o ChatGPT para diálogos envolventes e ferramentas de assistência ao código, como o GitHub Copilot, que sugere conclusões de código aos programadores.

GPT-3 em contexto

O GPT-3 faz parte da série Generative Pre-trained Transformer (GPT) e serviu como precursor de modelos como o GPT-4, que geralmente oferecem capacidades melhoradas e caraterísticas de aprendizagem potencialmente multimodais. Enquanto os modelos GPT são principalmente generativos, outros LLMs como o BERT são frequentemente optimizados para tarefas que requerem uma compreensão bidirecional profunda da linguagem, como a classificação ou o reconhecimento de entidades.

Também é importante distinguir os LLMs como o GPT-3, que processam texto, dos modelos focados na Visão por Computador (CV). Os modelos de CV, como o Ultralytics YOLO da Ultralytics (e.g, YOLOv8 ou YOLO11), analisa dados visuais como imagens e vídeos para realizar tarefas como a deteção de objectos, a classificação de imagens ou a segmentação de instâncias. Embora distintas, a PNL e a CV podem ser combinadas em sistemas de IA complexos, geridos e implementados através de plataformas como o Ultralytics HUB. O GPT-3 continua a ser um modelo de base de referência na evolução da aprendizagem automática.