Aprende como os tokens, os blocos de construção dos modelos de IA, potenciam a PNL, a visão por computador e tarefas como a análise de sentimentos e a deteção de objectos.
No domínio da Inteligência Artificial e da Aprendizagem Automática, particularmente no Processamento de Linguagem Natural (PNL) e cada vez mais na visão por computador, um "token" representa a unidade de dados mais pequena que um modelo processa. Pensa nos tokens como os blocos de construção fundamentais que os modelos de IA utilizam para compreender e analisar informações, quer se trate de texto, imagens ou outras formas de dados.
A tokenização é o processo de dividir os dados brutos em pedaços mais pequenos e digeríveis. Na PNL, por exemplo, o texto é tokenizado em palavras, unidades de sub-palavras ou mesmo caracteres. Este processo transforma o texto contínuo em unidades discretas que os modelos de aprendizagem automática podem processar eficazmente. A maneira como os dados são tokenizados pode afetar significativamente o desempenho e a eficiência do modelo.
Os tokens são cruciais porque os modelos de aprendizagem automática, especialmente os modelos de aprendizagem profunda como os utilizados em Ultralytics YOLO , não podem processar diretamente dados brutos e não estruturados. Eles exigem que os dados estejam num formato numérico ou discreto. A tokenização serve como uma ponte, convertendo entradas complexas num formato que os algoritmos podem entender e aprender. Esta transformação é essencial para tarefas como a geração de texto, a análise de sentimentos e a deteção de objectos.
Os tokens encontram aplicações em várias tarefas de IA e ML. Eis alguns exemplos concretos:
Processamento de linguagem natural (PNL): Na PNL, os tokens são os cavalos de batalha dos modelos de linguagem. Por exemplo, quando efectua uma análise de sentimentos, uma frase como "Este filme foi fantástico!" pode ser tokenizada em ["Este", "filme", "foi", "fantástico", "!"]. Cada um destes tokens é depois convertido numa representação numérica, como os word embeddings, que o modelo utiliza para compreender o sentimento. Os modelos de linguagem de grande dimensão, como o GPT-4 e o GPT-3, dependem muito dos tokens para processar e gerar texto. Técnicas como o encadeamento e a afinação de pedidos são concebidas para manipular e otimizar sequências de tokens para obter os resultados desejados destes modelos.
Visão por computador: Embora tradicionalmente associados à PNL, os tokens são cada vez mais importantes nos modelos modernos de visão por computador, especialmente com o aparecimento dos Transformadores de Visão (ViT). Em modelos como o Segment Anything Model (SAM), as imagens são muitas vezes divididas em fragmentos, que podem ser considerados tokens visuais. Estes símbolos visuais são depois processados por redes de transformadores, aproveitando os mecanismos de atenção para compreender as relações entre diferentes partes da imagem para tarefas como a segmentação de imagens e a deteção de objectos. Mesmo em modelos de deteção de objectos como o Ultralytics YOLOv8embora não utilizem explicitamente 'símbolos visuais' da mesma forma que os ViTs, o conceito de dividir uma imagem numa grelha e processar cada célula da grelha pode ser visto como uma forma de tokenização implícita, em que cada célula da grelha se torna uma unidade de análise.
Compreender os tokens é fundamental para perceber como os modelos de IA processam a informação. À medida que a IA continua a evoluir, o conceito de tokens e tokenização tornar-se-á provavelmente ainda mais central para lidar com diversos tipos de dados e construir modelos mais sofisticados e eficientes.
