AI Engineering Academy · Leçon

Capacités et limites des LLM

Capacités et limites des LLM est une leçon AI Engineering Academy gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage AI Engineering Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours AI Engineering Academy comprend 4 leçons au total.

Les domaines où les LLM excellent réellement

Les LLM excellent dans les tâches liées au langage : résumer, traduire, écrire du code et reformater du texte dans des formats comme JSON. Donnez-leur quelques exemples et ils assimilent rapidement le schéma.

Hallucination : le mode de défaillance fondamental

Une hallucination survient lorsqu’un modèle affirme avec assurance quelque chose de faux. Il prédit ce qui semble probable, et non ce qui est vrai — ne lui faites donc jamais confiance comme unique source d’information.

Limites des connaissances et informations obsolètes

Chaque modèle possède une date limite de connaissance : il ne sait rien de ce qui s’est produit après cette date. Pour obtenir des informations récentes, fournissez-lui des documents actualisés au moment de la requête avec RAG.

Limites du raisonnement : ce n’est pas un moteur logique

Les LLM imitent le raisonnement, mais ne sont pas de véritables moteurs logiques ; ils se trompent donc dans les calculs exacts et les raisonnements en plusieurs étapes. Pour les tâches précises, confiez-les à un véritable outil — consultez le code.

# Illustrating why you should use tools for computation
from openai import OpenAI

client = OpenAI()

# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'

# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
    return round(value * pct / 100, 2)

result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}')  # 3525.29 - always correct

La fenêtre de contexte comme contrainte stricte

La fenêtre de contexte correspond au nombre maximal de jetons qu’un modèle peut traiter à la fois — invite, historique et sortie combinés. Dépassez cette limite et la requête échoue.

Sensibilité à la formulation des invites

Les LLM sont sensibles à la formulation des invites. Une légère reformulation, ou l’ajout de « réfléchissez étape par étape », peut modifier considérablement la réponse — c’est puissant, mais cela mérite d’être testé avec soin.

Inconstance et non-déterminisme

Les LLM sont non déterministes : une même invite peut produire des réponses différentes. Même un modèle correct à 95 % se trompe encore une fois sur 20 ; testez donc de nombreux exemples, et pas seulement quelques-uns.

import openai

client = openai.OpenAI()

def sample_with_majority_vote(prompt, n=5):
    responses = []
    for _ in range(n):
        r = client.chat.completions.create(
            model='gpt-4o-mini',
            messages=[{'role': 'user', 'content': prompt}],
            temperature=0.3,
            max_tokens=10
        )
        responses.append(r.choices[0].message.content.strip())
    # Return most common answer
    return max(set(responses), key=responses.count)

Complaisance : biais en faveur de l’accord

La complaisance survient lorsqu’un modèle vous donne raison même quand vous avez tort, parce que les évaluateurs apprécient les réponses conciliantes. Pour obtenir une véritable critique, demandez-lui de défendre le point de vue opposé.

Ce que les LLM ne peuvent pas faire

Certaines limites sont intrinsèques : un LLM ne peut pas naviguer sur Internet, exécuter du code, se souvenir de conversations passées ni effectuer seul des calculs exacts. Associez-le à des outils pour ces tâches.

Problèmes de biais et de représentation

Entraînés sur des textes provenant d’Internet, les LLM en reproduisent les biais : stéréotypes, couverture inégale des langues et visions déformées. Testez-les sur différents groupes et documentez leurs limites pour vos utilisateurs.

Fixer des attentes réalistes pour les projets

Une démonstration élégante peut tout de même échouer sur des données réelles. Ce n’est pas une raison pour renoncer aux LLM — c’est pourquoi vous devez intégrer l’évaluation dès le premier jour et mesurer les échecs au fur et à mesure.

Vérification rapide

Testez votre compréhension des concepts d’ingénierie de l’IA abordés dans cette leçon.

Récapitulatif de la leçon

Récapitulatif : les hallucinations nécessitent du RAG ou une vérification, les limites de connaissances nécessitent de la récupération d’informations, et le non-déterminisme nécessite une véritable évaluation. Ensuite : votre premier appel à l’API OpenAI. 🎉

Questions Fréquemment Posées

La leçon « Capacités et limites des LLM » est-elle gratuite ?

Oui — le texte complet de « Capacités et limites des LLM » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours AI Engineering Academy, passe à CoddyKit PRO. Le cours AI Engineering Academy comprend 4 leçons au total.

Qu'est-ce que j'apprendrai dans « Capacités et limites des LLM » ?

Explorez les domaines dans lesquels les LLM excellent réellement et ceux où ils échouent, notamment les hallucinations, les dates limites des connaissances et les limites du raisonnement, afin de déf… Tu pratiques AI Engineering Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.

Dois-je avoir de l'expérience pour commencer AI Engineering Academy ?

Aucune expérience préalable n'est requise. AI Engineering Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.

Combien de temps prend la leçon « Capacités et limites des LLM » ?

La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.

Peux-tu écrire et exécuter du code dans cette leçon AI Engineering Academy ?

Oui. Chaque leçon AI Engineering Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.

Toutes les leçons de ce cours

De la saisie prédictive à ChatGPT
Transformers et attention en termes simples
Comment les LLM sont entraînés
Capacités et limites des LLM

← Retour à AI Engineering Academy