Garde-fous et comportement sûr des agents
Mettez en œuvre des garde-fous pratiques pour la sécurité des agents d’IA : validation des entrées et des sorties, filtrage du contenu et accès restreint aux outils, afin d’empêcher les actions nuisibles ou involontaires.
Garde-fous et comportement sûr des agents est une leçon AI Agents with LangChain & Autonomous Workflows gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage AI Agents with LangChain & Autonomous Workflows, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours AI Agents with LangChain & Autonomous Workflows comprend 4 leçons au total.
De l’éthique à l’ingénierie
Les principes éthiques doivent être appliqués dans le code. Les garde-fous sont les contrôles concrets qui maintiennent un agent dans des limites sûres et prévues lors de son exécution.
Ils interviennent à trois niveaux : l’entrée, le raisonnement du modèle et la sortie ou les actions.
Garde-fous des entrées
Vérifiez l’entrée de l’utilisateur avant qu’elle n’atteigne l’agent. Détectez :
- Les tentatives d’injection de consigne
- Les demandes portant sur des sujets interdits
- Les données personnelles qui devraient être masquées
Détection des injections de consigne
L’injection de consigne tente de contourner vos instructions (par exemple : ignorer les règles précédentes). Un garde-fou simple signale les formulations suspectes avant le traitement.
BAD = ['ignore previous', 'disregard instructions']
if any(p in user_input.lower() for p in BAD):
raise ValueError('Possible prompt injection')Garde-fous des sorties
Validez ce que l’agent produit avant de l’afficher. Bloquez les contenus dangereux, les secrets divulgués ou les réponses contraires aux règles, en les remplaçant par un message de repli sûr.
if contains_sensitive(answer):
answer = 'I cannot share that information.'Validation des sorties structurées
Lorsqu’un agent doit renvoyer du JSON, validez-le par rapport à un schéma. Refusez ou corrigez les sorties mal formées afin que les systèmes en aval ne reçoivent jamais de données incorrectes.
from pydantic import BaseModel
class Ticket(BaseModel):
priority: str
summary: str
Ticket.model_validate_json(agent_output)Restriction de l’accès aux outils
Les actions les plus dangereuses proviennent des outils. Donnez à un agent uniquement les outils dont il a besoin et définissez le périmètre de chacun — en lecture seule lorsque cela est possible, avec des limites sur ce qu’il peut modifier.
Listes d’autorisation plutôt que listes de blocage
Définissez ce qui est autorisé plutôt que de chercher à couvrir tous les cas problématiques. Une liste d’autorisation de domaines, de tables ou d’opérations approuvés est bien plus sûre que de tenter d’énumérer tout ce qui doit être interdit.
ALLOWED_DOMAINS = {'docs.company.com'}
if domain not in ALLOWED_DOMAINS:
raise PermissionError('Domain not allowed')Modèles de modération
Les points de terminaison de modération des fournisseurs classent les textes selon des catégories de contenu préjudiciable. Faites-y passer les entrées et les sorties comme couche de sécurité supplémentaire.
result = client.moderations.create(input=text)
if result.results[0].flagged:
block()Limiter l’autonomie
Limitez ce qu’un agent peut faire sans supervision : nombre maximal d’itérations, nombre maximal d’appels d’outils, limites de dépenses et approbation humaine pour les actions à fort impact. Une autonomie encadrée empêche tout comportement incontrôlé.
agent = create_agent(llm, tools, max_iterations=8)Sécurité par défaut en cas d’échec
Lorsqu’un garde-fou est incertain ou qu’une vérification échoue, choisissez par défaut l’option sûre — refusez ou transmettez à un humain — plutôt que d’autoriser l’action. Une demande sûre bloquée vaut mieux qu’une action dangereuse exécutée.
Journalisation et révision
Consignez chaque déclenchement d’un garde-fou. Leur analyse révèle les schémas d’attaque et les faux positifs, ce qui vous permet d’ajuster les règles au fil du temps sans réduire la sécurité.
Vérification rapide
Évaluez vos connaissances sur les garde-fous.
Récapitulatif
Vous avez appris à concevoir un comportement sûr pour les agents :
- Ajoutez des garde-fous pour les entrées et les sorties
- Détectez les injections de consigne et validez les sorties structurées
- Limitez l’accès aux outils à l’aide de listes d’autorisation et d’une définition précise du périmètre
- Utilisez la modération, limitez l’autonomie et privilégiez la sécurité en cas d’échec
- Consignez et analysez chaque déclenchement
Les garde-fous transforment les intentions éthiques en agents fiables et effectivement contrôlés.
Apprends AI Agents with LangChain & Autonomous Workflows avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 12
- Leçons
- 50
Questions Fréquemment Posées
La leçon « Garde-fous et comportement sûr des agents » est-elle gratuite ?
Oui — le texte complet de « Garde-fous et comportement sûr des agents » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours AI Agents with LangChain & Autonomous Workflows, passe à CoddyKit PRO. Le cours AI Agents with LangChain & Autonomous Workflows comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Garde-fous et comportement sûr des agents » ?
Mettez en œuvre des garde-fous pratiques pour la sécurité des agents d’IA : validation des entrées et des sorties, filtrage du contenu et accès restreint aux outils, afin d’empêcher les actions nuisi… Tu pratiques AI Agents with LangChain & Autonomous Workflows avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer AI Agents with LangChain & Autonomous Workflows ?
Aucune expérience préalable n'est requise. AI Agents with LangChain & Autonomous Workflows sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.
Combien de temps prend la leçon « Garde-fous et comportement sûr des agents » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon AI Agents with LangChain & Autonomous Workflows ?
Oui. Chaque leçon AI Agents with LangChain & Autonomous Workflows inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Considérations éthiques liées aux agents d’intelligence artificielle
- Biais, équité et transparence
- Tendances émergentes et recherche
- Garde-fous et comportement sûr des agents