Pesquisa Vetorial

Compreender a incorporação de vectores

O conceito central da pesquisa vetorial é a incorporação de vectores. Os dados, quer sejam texto, imagens, áudio ou outros tipos, são transformados em representações numéricas denominadas vectores, utilizando modelos de incorporação. Estes vectores existem num espaço de elevada dimensão onde os itens com significados ou caraterísticas semelhantes são posicionados próximos uns dos outros. Por exemplo, no processamento de linguagem natural (PNL), modelos como o BERT convertem frases em vectores, assegurando que as frases que transmitem ideias semelhantes têm representações vectoriais próximas. Da mesma forma, na visão computacional (CV), modelos como o Ultralytics YOLO podem gerar vectores de caraterísticas para imagens, permitindo comparações de semelhanças visuais. Uma vez incorporados os dados, os algoritmos de pesquisa vetorial utilizam métricas de distância, como a semelhança cosseno ou a distância euclidiana, para quantificar a "proximidade" entre vectores. Uma consulta (também convertida num vetor) é comparada com os vectores da base de dados e os itens correspondentes aos vectores mais próximos são devolvidos como resultados da pesquisa.

Como funciona a Pesquisa Vetorial

A implementação da pesquisa vetorial envolve normalmente os seguintes passos:

1. Geração de incorporação: Converte o teu conjunto de dados (imagens, texto, etc.) em embeddings vectoriais utilizando um modelo pré-treinado ou personalizado.
2. Indexação: Armazena estes vectores numa base de dados de vectores especializada ou num índice concebido para uma pesquisa de semelhanças eficiente. Exemplos incluem Pinecone e Milvus.
3. Consulta: Converte a consulta de pesquisa (por exemplo, uma imagem ou frase de texto) num vetor utilizando o mesmo modelo de incorporação.
4. Pesquisa: Utiliza um algoritmo como a pesquisa ANN (Approximate Nearest Neighbor) para encontrar eficientemente os vectores no índice que estão mais próximos do vetor de consulta com base na métrica de distância escolhida.
5. Recupera: Devolve os itens de dados originais correspondentes aos vectores mais próximos encontrados.

Aplicações da pesquisa vetorial

A pesquisa vetorial permite uma vasta gama de aplicações sofisticadas de IA:

• Sistemas de recomendação: Plataformas como o Netflix ou o Spotify representam utilizadores e itens (filmes, músicas) como vectores. A pesquisa vetorial encontra itens cujos vectores estão próximos do vetor de um utilizador (representando as suas preferências), levando a recomendações personalizadas.
• Pesquisa visual: Os sítios de comércio eletrónico permitem aos utilizadores carregar uma imagem de um produto de que gostem. O sistema converte a imagem num vetor e utiliza a pesquisa vetorial para encontrar produtos visualmente semelhantes no inventário. Isso depende muito de embeddings de reconhecimento de imagem eficazes. Ferramentas em plataformas como o Ultralytics HUB podem ajudar a gerir os conjuntos de dados utilizados para treinar modelos para estas tarefas.
• Pesquisa semântica: Melhora os motores de busca ou os chatbots para compreender o significado das consultas. Em vez de corresponder a palavras-chave, a pesquisa vetorial encontra documentos ou respostas que são contextualmente relevantes. Isto é crucial para funcionalidades como o Ultralytics Explorer, que permite pesquisar conjuntos de dados utilizando linguagem natural.
• Deteção de anomalias: Na cibersegurança ou na deteção de fraudes, os padrões de comportamento normais podem ser representados como grupos de vectores. A pesquisa de vectores pode identificar pontos de dados (potenciais anomalias) que não se enquadram nestes clusters.
• Sistemas de resposta a perguntas: Encontrar passagens relevantes numa grande base de conhecimentos para responder a perguntas do utilizador, frequentemente utilizadas como parte de sistemas de geração aumentada de recuperação (RAG).

Pesquisa Vetorial vs. Pesquisa Semântica

Embora frequentemente utilizados em conjunto, a Pesquisa Vetorial e a Pesquisa Semântica são conceitos distintos. A Pesquisa Semântica refere-se ao objetivo de compreender a intenção do utilizador e o significado contextual da sua consulta para fornecer resultados relevantes. A Pesquisa Vetorial é um método ou mecanismo frequentemente utilizado para implementar a pesquisa semântica. Obtém relevância semântica encontrando itens que estão "próximos" no espaço vetorial, em que a proximidade representa a semelhança semântica. Por conseguinte, a pesquisa vetorial é o motor que alimenta muitas aplicações de pesquisa semântica, operando sobre as incorporações vectoriais que captam o significado. Modelos avançados como o YOLO aproveitam estes conceitos para a deteção de objectos de vocabulário aberto.