IA constitutionnelle

L'IA constitutionnelle est une méthode qui consiste à former les systèmes d'intelligence artificielle à s'aligner sur les valeurs humaines en leur fournissant un ensemble de principes de haut niveau, une « constitution », plutôt que de s'appuyer uniquement sur les nombreux commentaires humains sur les résultats individuels. Cette approche enseigne essentiellement au modèle d'IA à critiquer et à réviser son propre comportement sur la base d'un ensemble de règles prédéfinies, telles que « être utile », « être inoffensif » et « éviter la discrimination ». En intégrant directement ces directives éthiques dans le processus d'entraînement, les développeurs peuvent créer des systèmes plus sûrs, plus transparents et plus faciles à mettre à l'échelle que ceux qui dépendent de l' apprentissage par renforcement à partir des commentaires humains (RLHF).

Le mécanisme de l'IA constitutionnelle

L'innovation principale de Constitutional AI réside dans son processus de formation en deux phases, qui automatise l'alignement des modèles. Contrairement à l'apprentissage supervisé traditionnel, où les humains doivent étiqueter chaque réponse correcte, Constitutional AI utilise le modèle lui-même pour générer des données d'entraînement.

1. Phase d'apprentissage supervisé: le modèle génère des réponses aux invites, puis critique ses propres résultats en fonction des principes constitutionnels. Il révise la réponse afin de mieux l'aligner sur les règles. Cet ensemble de données affiné est ensuite utilisé pour affiner le modèle, lui apprenant à suivre intrinsèquement les directives.
2. Phase d'apprentissage par renforcement: cette phase, souvent appelée apprentissage par renforcement à partir du retour d'information de l'IA (RLAIF), remplace l'étiqueteur humain . L'IA génère des paires de réponses et sélectionne celle qui respecte le mieux la constitution. Ces données de préférence entraînent un modèle de récompense, qui renforce ensuite les comportements souhaités via des techniques standard d'apprentissage par renforcement.

Pertinence pour la vision par ordinateur

Alors que l'IA constitutionnelle trouve son origine dans le contexte des grands modèles linguistiques (LLM) développés par des organisations telles que Anthropic, ses principes sont de plus en plus pertinents pour des tâches d'apprentissage automatique plus larges, notamment la vision par ordinateur (CV).

• Génération d'images éthiques: Les outils d'IA générative permettant de créer des images peuvent être « constitutionnellement » formés à refuser les demandes qui généreraient des images violentes, haineuses ou protégées par le droit d'auteur. Cela garantit que les poids du modèle eux-mêmes codifient des contraintes de sécurité, empêchant ainsi la création de contenus visuels préjudiciables.
• Systèmes de vision critiques pour la sécurité: dans les véhicules autonomes, une approche « constitutionnelle » peut définir des règles hiérarchiques pour la prise de décision. Par exemple, une règle stipulant que « la sécurité humaine prime sur l'efficacité du trafic » peut guider le modèle lors de l'analyse de scènes routières complexes, garantissant que les résultats de la détection d'objets sont interprétés en accordant la priorité à la sécurité.

Mise en œuvre des contrôles de politique dans Vision AI

Bien que la formation complète à l'IA constitutionnelle implique des boucles de rétroaction complexes, les développeurs peuvent appliquer le concept de « contrôles constitutionnels » pendant l' inférence afin de filtrer les résultats en fonction des politiques de sécurité. L'exemple suivant montre comment utiliser YOLO26 pour detect et appliquer une règle de sécurité afin de filtrer les détections peu fiables, imitant ainsi une constitution de fiabilité.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

IA constitutionnelle vs RLHF conventionnelle

Il est important de distinguer l'IA constitutionnelle de l'apprentissage par renforcement standard à partir du retour d'information humain (RLHF).

• Évolutivité: RLHF nécessite une main-d'œuvre importante pour évaluer les résultats des modèles, ce qui est coûteux et lent. Constitutional AI automatise ce processus à l'aide d' agents IA, ce qui le rend hautement évolutif.
• Transparence: dans le RLHF, le modèle apprend à partir d'un « signal de récompense » opaque (un score), ce qui rend difficile de comprendre pourquoi un comportement a été préféré. Dans l'IA constitutionnelle, la chaîne de réflexion utilisée pendant la phase de critique rend le raisonnement explicite et traçable jusqu'à des principes écrits spécifiques.
• Cohérence: les évaluateurs humains peuvent être incohérents ou partiaux. Une constitution écrite fournit une base stable pour l'éthique de l'IA, réduisant ainsi la subjectivité dans le processus d'alignement.

L'avenir de l'alignement

Au fur et à mesure que les modèles évoluent vers Artificial General Intelligence (AGI), l'importance de stratégies d'alignement robustes telles que l'IA constitutionnelle s'accroît. Ces méthodes sont essentielles pour pour se conformer aux normes émergentes d'organismes tels que le NIST AI Safety Institute.

Ultralytics propose des outils pour gérer la gouvernance des données et la surveillance des modèles, facilitant ainsi la création de systèmes d'IA responsables. En intégrant ces considérations éthiques dans le cycle de vie du développement de l'IA, de la collecte des données au déploiement des modèles, les organisations peuvent atténuer les risques et s'assurer que leurs technologies contribuent positivement à la société.