Model Ensemble

Un ensemble di modelli è un approccio strategico nell'apprendimento automatico in cui le previsioni di più modelli individuali vengono combinate per produrre un risultato finale che spesso è più accurato e robusto di quello che un singolo modello potrebbe ottenere da solo. Proprio come un comitato di esperti che delibera per raggiungere una decisione migliore rispetto a quella che potrebbe prendere un singolo individuo, un ensemble di modelli sfrutta i punti di forza di diverse architetture per mitigare gli errori. Questa tecnica è ampiamente utilizzata per migliorare le prestazioni in compiti complessi, ridurre il rischio di overfitting e gestire il compromesso intrinseco tra bias e varianza che si riscontra nella modellazione statistica .

La meccanica dell'assemblaggio

Il principio fondamentale alla base di un ensemble di modelli è la "diversità". Addestrando più modelli, spesso denominati "base learners" o "weak learners", su diversi sottoinsiemi di dati di addestramento o utilizzando algoritmi diversi, l' ensemble garantisce che gli errori commessi da un modello vengano corretti dagli altri. Nel contesto del deep learning, ciò comporta spesso l'esecuzione di più reti neurali in parallelo durante l' inferenza.

I metodi comuni per combinare queste previsioni includono:

• Voto: utilizzato nella classificazione delle immagini, dove la classe selezionata dalla maggioranza dei modelli diventa la previsione finale.
• Media: spesso utilizzata nelle attività di regressione, dove i risultati numerici vengono mediati per attenuare il rumore.
• Fusione ponderata: nel rilevamento degli oggetti, tecniche come la Weighted Box Fusion (WBF) uniscono i riquadri di delimitazione provenienti da diversi rilevatori in base ai punteggi di affidabilità.

Applicazioni nel mondo reale

Gli insiemi di modelli sono essenziali in ambienti ad alto rischio in cui massimizzare l' accuratezza è fondamentale e le risorse computazionali consentono l' esecuzione di più modelli.

1. Diagnostica medica: nell' analisi delle immagini mediche, una diagnosi errata può avere gravi conseguenze. I radiologi utilizzano spesso insiemi che combinano una rete neurale convoluzionalestandard (CNN) con un Vision Transformer (ViT). La CNN eccelle nell'analisi della trama locale, mentre il ViT cattura il contesto globale, consentendo al sistema di detect con una sensibilità maggiore rispetto a ciascuna delle due architetture utilizzate singolarmente.
2. Guida autonoma: i sistemi di percezione nei veicoli autonomi devono essere a prova di guasto. Gli ingegneri utilizzano spesso un insieme di modelli di rilevamento, ad esempio combinando la velocità in tempo reale di YOLO26 con la precisione basata sul trasformatore di RT-DETR. Ciò garantisce che i pedoni o gli ostacoli vengano rilevati anche se un modello ha difficoltà con condizioni di illuminazione specifiche, come abbagliamento o ombre.

Implementazione di insiemi con Python

Sebbene sia possibile creare strategie di ensemble complesse utilizzando librerie come Scikit-learn, è possibile creare un ensemble di inferenza di base per la visione artificiale semplicemente caricando più modelli ed elaborando lo stesso input. L'esempio seguente mostra come caricare due modelli distinti Ultralytics YOLO per generare previsioni sulla stessa immagine.

from ultralytics import YOLO

# Load two different model variants to create a diverse ensemble
model_a = YOLO("yolo26n.pt")  # Nano model (Speed focused)
model_b = YOLO("yolo26s.pt")  # Small model (Higher accuracy)

# Perform inference on an image with both models
# In production, results are typically merged programmatically
results_a = model_a("https://ultralytics.com/images/bus.jpg")
results_b = model_b("https://ultralytics.com/images/bus.jpg")

print(f"Model A detected {len(results_a[0].boxes)} objects.")
print(f"Model B detected {len(results_b[0].boxes)} objects.")

Ensemble di modelli vs. Miscela di esperti

È utile distinguere un insieme di modelli standard da una Mixture of Experts (MoE), un termine spesso utilizzato nella moderna ricerca sui modelli linguistici di grandi dimensioni (LLM).

• Ensemble di modelli: in genere interroga ogni modello della raccolta per ogni input e aggregano i risultati. Ciò massimizza metriche come la precisione media (mAP), ma aumenta significativamente la latenza di inferenza e il costo computazionale. Si tratta di un approccio brute-force alla qualità.
• Miscela di esperti: utilizza una "rete di gating" per instradare i dati solo ad alcuni specifici sottomodelli "esperti" più adatti all'input corrente. Ciò consente una scalabilità massiccia nei modelli di base senza la penalizzazione computazionale derivante dall'esecuzione di ogni parametro per ogni token.

Vantaggi e considerazioni

Il vantaggio principale dell'utilizzo di un insieme di modelli è il miglioramento delle prestazioni. Gli insiemi spesso dominano le classifiche nelle sfide di data science come le competizioni Kaggle perché sono in grado di modellare schemi complessi che i modelli singoli non riescono a cogliere. Tuttavia, ciò ha un costo: l'implementazione di insiemi richiede più memoria e potenza di calcolo.

Per i team che desiderano gestire in modo efficiente queste richieste di risorse, Ultralytics offre strumenti per addestrare, track e confrontare diverse architetture di modelli. Confrontando facilmente le metriche delle prestazioni, gli sviluppatori possono decidere se il guadagno in termini di accuratezza ottenuto da un ensemble giustifica l'infrastruttura aggiuntiva necessaria per l'implementazione in scenari di IA edge.