OpenCV

Rilevanza nell'IA e nell'apprendimento automatico

OpenCV svolge un ruolo fondamentale nella pipeline di AI e ML, soprattutto quando si tratta di input visivi. Fornisce strumenti fondamentali per la pre-elaborazione dei dati, un passaggio cruciale prima di inserire immagini o video nei modelli di apprendimento automatico. Le fasi comuni di pre-elaborazione gestite da OpenCV includono il ridimensionamento, la conversione dello spazio colore (come BGR in RGB, spesso necessaria per i modelli addestrati con ordini di colore specifici), la riduzione del rumore utilizzando filtri come la sfocatura gaussiana e l'applicazione di varie trasformazioni per migliorare la qualità dell'immagine o estrarre caratteristiche rilevanti. Questa pre-elaborazione ha un impatto significativo sulle prestazioni dei modelli di deep learning (DL).

OpenCV è spesso utilizzato insieme a framework di ML popolari come PyTorch e TensorFlow per creare applicazioni CV end-to-end. Mentre questi framework si concentrano sulla costruzione e sull'addestramento delle reti neurali, OpenCV gestisce l'input/output, la manipolazione e spesso la post-elaborazione dei dati visivi, come ad esempio il disegno dei riquadri di delimitazione o delle maschere di segmentazione previste da modelli quali Ultralytics YOLO. La sua efficienza nell'elaborazione di flussi video in tempo reale lo rende indispensabile per le applicazioni che richiedono un'analisi visiva immediata, come l'inferenza in tempo reale per il rilevamento di oggetti o la stima della posa.

Caratteristiche e funzionalità principali

OpenCV offre una vasta gamma di funzioni (oltre 2500 algoritmi), che coprono sia le tecniche classiche di computer vision che il supporto per la moderna integrazione del deep learning. Le funzionalità principali includono:

• I/O di immagini e video: Lettura e scrittura di varie immagini(JPEG, PNG, TIFF) e formati video(AVI, MP4).
• Elaborazione delle immagini: Operazioni di base come il ridimensionamento, il ritaglio(vedi la guida al ritaglio degli oggetti), la rotazione, la conversione dello spazio colore, il filtraggio e le trasformazioni morfologiche.
• Rilevamento e descrizione delle caratteristiche: Implementazione di algoritmi come SIFT, SURF (proprietario, spesso sostituito da ORB nelle versioni più recenti) e FAST per identificare i punti chiave delle immagini.(Documentazione sul rilevamento delle caratteristiche di OpenCV).
• Rilevamento di oggetti: Pur non addestrando direttamente i modelli, fornisce strumenti per eseguire rilevatori pre-addestrati (come le cascate di Haar per il rilevamento dei volti) e per elaborare gli output dei modelli DL (ad esempio, disegnando caselle da YOLO11 previsioni).
• Analisi video: Include strumenti per l'analisi del movimento come il flusso ottico, la sottrazione dello sfondo e gli algoritmi di tracciamento degli oggetti(vedi modalità di tracciamento).
• Calibrazione della telecamera e ricostruzione 3D: Funzioni per comprendere la geometria della telecamera e ricostruire le scene 3D(Guida alla calibrazione della telecamera).
• Modulo di apprendimento automatico: Include le implementazioni di alcuni classici algoritmi di ML come le Support Vector Machines (SVM) e i K-Nearest Neighbors (KNN), anche se le attività di deep learning si affidano solitamente a framework dedicati. Offre anche funzionalità per caricare ed eseguire modelli esportati in formati come ONNX.(Documentazione sull'esportazione dei modelli).

OpenCV vs. concetti correlati

È utile distinguere OpenCV dai termini correlati:

• Visione artificiale (CV): La CV è l'ampio campo scientifico che si occupa di consentire alle macchine di interpretare le informazioni visive. OpenCV è uno strumento o una libreria utilizzata per implementare applicazioni di CV, non il campo stesso.
• Elaborazione delle immagini: Si concentra principalmente sulla manipolazione delle immagini (ad esempio, migliorare il contrasto, rimuovere il rumore). OpenCV offre ampie funzioni di elaborazione delle immagini, ma include anche compiti di livello superiore come il riconoscimento degli oggetti e la comprensione della scena, che rientrano nella computer vision.
• Framework ML (PyTorch, TensorFlow): Questi framework sono progettati principalmente per costruire, addestrare e distribuire reti neurali e altri modelli di ML. OpenCV li integra fornendo gli strumenti essenziali per gestire i dati visivi prima che vengano inseriti nel modello (pre-elaborazione) e dopo l' inferenza (visualizzazione, post-elaborazione). Sebbene OpenCV abbia alcune funzionalità di ML, non è il suo obiettivo principale rispetto a questi framework dedicati. Ultralytics HUB, ad esempio, utilizza framework come PyTorch per l'addestramento dei modelli e potrebbe utilizzare OpenCV implicitamente o esplicitamente per la gestione dei dati.

Applicazioni del mondo reale

La versatilità di OpenCV lo rende onnipresente in numerose applicazioni di AI/ML:

1. Veicoli autonomi: Nelle auto a guida autonoma e nei sistemi avanzati di assistenza alla guida (ADAS), OpenCV è spesso utilizzato per l'elaborazione iniziale dei dati delle telecamere e dei LiDAR. I compiti includono il rilevamento della corsia, il riconoscimento degli ostacoli tramite la corrispondenza delle caratteristiche o il rilevamento dei contorni, il riconoscimento della segnaletica stradale (spesso le immagini elaborate vengono inviate a un classificatore) e lo stitching delle immagini per i sistemi surround-view. Ad esempio, i fotogrammi grezzi della telecamera possono essere pre-elaborati (corretti per la distorsione, regolati nella luminosità) utilizzando OpenCV prima di essere inseriti in un modello di deep learning come YOLOv8 per rilevare auto e pedoni.(Esplora la tecnologia di Waymo).
2. Analisi di immagini mediche: OpenCV aiuta a caricare vari formati di immagini mediche (come DICOM, spesso con l'aiuto di altre librerie), a migliorare il contrasto delle immagini per una migliore visibilità delle anomalie, a segmentare le regioni di interesse (come i tumori o gli organi) utilizzando tecniche come gli algoritmi di soglia o di spartiacque e a registrare le immagini scattate in momenti diversi o da modalità differenti. Questi dati pre-elaborati vengono poi spesso analizzati da modelli ML specializzati per la diagnosi o la pianificazione del trattamento.(AI in Radiologia - RSNA).

Altre applicazioni includono la robotica(Integrating Computer Vision in Robotics), la sorveglianza(Sistemi di allarme di sicurezza), la realtà aumentata, il controllo di qualità nel settore manifatturiero e l'agricoltura (ad esempio, il monitoraggio della salute delle colture). La documentazione di Ultralytics fornisce molti esempi in cui le funzioni di OpenCV possono essere utilizzate per le fasi di pre- o post-elaborazione insieme ai modelli YOLO .