Tokenização

Como funciona a Tokenização

A ideia central da tokenização é a segmentação. Para dados de texto, isso normalmente significa dividir frases em palavras, subpalavras ou até mesmo caracteres individuais com base em regras predefinidas ou padrões aprendidos. Por exemplo, a fraseUltralytics YOLOv8 is powerful" pode ser tokenizada em: ["Ultralytics", "YOLOv8", "is", "powerful"]. O método específico escolhido depende da tarefa e da arquitetura do modelo. As técnicas comuns incluem a divisão por espaços em branco e pontuação, ou a utilização de métodos mais avançados como Codificação de pares de bytes (BPE) ou Pedaço de Palavra, que são frequentemente utilizados em Modelos de linguagem de grande porte (LLMs) como BERT para lidar eficazmente com grandes vocabulários e palavras desconhecidas.

Relevância e aplicações no mundo real

A tokenização é essencial porque a maioria dos modelos de ML requerem dados numéricos. Ao converter o texto em tokens discretos, podemos então mapear esses tokens para representações numéricas, como embeddings, permitindo que os modelos aprendam padrões e relações dentro dos dados. Este processo está na base de inúmeras aplicações de IA:

1. Tradução automática: Serviços como o Google Translate transformam frases de entrada no idioma de origem em tokens, processam esses tokens usando redes neurais complexas (geralmente Transformers) e, em seguida, geram tokens no idioma de destino, que são finalmente reunidos novamente em frases. Uma tokenização precisa garante que as nuances linguísticas são captadas corretamente.
2. Análise de sentimentos: Para determinar o sentimento de uma avaliação de um cliente como "O serviço foi excelente!", o texto é primeiro tokenizado (["The", "service", "was", "excellent", "!"]). Cada ficha é então analisado, muitas vezes utilizando a sua incorporação, permitindo que o modelo classifique o sentimento geral como positivo, negativo ou neutro. Isto é crucial para as empresas que analisam o feedback dos clientes. Sabe mais sobre a análise de sentimentos.
3. Modelos de visão-linguagem: Modelos como o CLIP ou o Ultralytics YOLO baseiam-se na tokenização de mensagens de texto para compreender as perguntas dos utilizadores em tarefas como a deteção de objectos de disparo zero ou a segmentação de imagens. Os tokens de texto são associados a caraterísticas visuais obtidas a partir de imagens.

Tokenização na visão computacional

Embora tradicionalmente associado à PNL, o conceito estende-se à Visão por Computador (CV). Nos transformadores de visão (ViT), as imagens são divididas em fragmentos de tamanho fixo, que são tratados como "tokens visuais". Estes tokens são depois processados de forma semelhante aos tokens de texto nos transformadores de PNL, permitindo que os modelos compreendam as hierarquias espaciais e o contexto nas imagens.

Benefícios e ferramentas

A tokenização eficaz padroniza os dados de entrada, simplifica o processamento dos modelos e ajuda a gerir o tamanho do vocabulário, especialmente com métodos de subpalavras. Bibliotecas como Hugging Face Tokenizers e kits de ferramentas como NLTK fornecem implementações robustas. Plataformas como o Ultralytics HUB geralmente abstraem as complexidades do pré-processamento de dados, incluindo a tokenização, simplificando o fluxo de trabalho para modelos de treinamento criados com estruturas como PyTorch ou TensorFlow. Entender a tokenização é fundamental para construir e otimizar muitos sistemas modernos de IA.