0Pricing
AI Engineering Academy · Lezione

Capacità e limiti degli LLM

Esplorerà ciò in cui gli LLM eccellono davvero e i casi in cui falliscono, incluse allucinazioni, date limite della conoscenza e limiti nel ragionamento, per definire aspettative realistiche sui progetti.

Capacità e limiti degli LLM è una lezione AI Engineering Academy gratuita su CoddyKit. Questa è la lezione 4 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento AI Engineering Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso AI Engineering Academy include 4 lezioni in totale.

In cosa eccellono davvero gli LLM

Gli LLM eccellono nelle attività linguistiche: riassumere, tradurre, scrivere codice e trasformare il testo in formati come JSON. Fornendo un paio di esempi, riconoscono rapidamente lo schema.

Allucinazione: il principale modo in cui il modello fallisce

Si parla di allucinazione quando un modello afferma con sicurezza qualcosa di falso. Prevede ciò che sembra plausibile, non ciò che è vero: non lo utilizzi mai come unica fonte di informazioni.

Limiti temporali della conoscenza e informazioni obsolete

Ogni modello ha un limite temporale della conoscenza: non sa nulla di ciò che è avvenuto dopo quella data. Per informazioni recenti, gli si forniscono documenti aggiornati al momento della richiesta tramite RAG.

Limiti del ragionamento: non è un motore logico

Gli LLM imitano il ragionamento, ma non sono un vero motore logico; per questo commettono errori nei calcoli esatti e nella logica a più passaggi. Per il lavoro di precisione, deleghi il compito a uno strumento apposito: consulti il codice.

# Illustrating why you should use tools for computation
from openai import OpenAI

client = OpenAI()

# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'

# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
    return round(value * pct / 100, 2)

result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}')  # 3525.29 - always correct

La finestra di contesto come vincolo rigido

La finestra di contesto è il numero massimo di token che un modello può gestire contemporaneamente: prompt, cronologia e output inclusi. Se lo si supera, la richiesta semplicemente non va a buon fine.

Sensibilità alla formulazione del prompt

Gli LLM sono sensibili alla formulazione del prompt. Una piccola riformulazione, o l'aggiunta di «pensa passo dopo passo», può cambiare molto la risposta: è potente, ma va verificato con attenzione.

Incoerenza e non determinismo

Gli LLM sono non deterministici: allo stesso prompt possono dare risposte diverse. Anche un modello corretto al 95% sbaglia una volta su 20, quindi lo verifichi su molti esempi, non solo su alcuni.

import openai

client = openai.OpenAI()

def sample_with_majority_vote(prompt, n=5):
    responses = []
    for _ in range(n):
        r = client.chat.completions.create(
            model='gpt-4o-mini',
            messages=[{'role': 'user', 'content': prompt}],
            temperature=0.3,
            max_tokens=10
        )
        responses.append(r.choices[0].message.content.strip())
    # Return most common answer
    return max(set(responses), key=responses.count)

Sycophancy: il bias del consenso

La sycophancy si verifica quando un modello concorda con Lei anche se ha torto, perché i valutatori hanno preferito risposte accondiscendenti. Per ottenere una critica reale, gli chieda di sostenere il punto di vista opposto.

Che cosa gli LLM non possono fare

Alcuni limiti sono intrinseci: un LLM non può navigare sul Web, eseguire codice, ricordare conversazioni passate o svolgere calcoli esatti autonomamente. Per questi compiti, lo abbini a strumenti specifici.

Problemi di bias e rappresentazione

Addestrati su testi provenienti da Internet, gli LLM ne apprendono i bias: stereotipi, copertura linguistica disomogenea e punti di vista distorti. Esegua test su gruppi diversi e documenti i limiti per gli utenti.

Definire aspettative realistiche per i progetti

Una demo ben realizzata può comunque fallire con input reali. Questo non significa dover rinunciare agli LLM: significa integrare la valutazione fin dal primo giorno e misurare i fallimenti man mano.

Verifica rapida

Verifichi la Sua comprensione dei concetti di AI Engineering presentati in questa lezione.

Riepilogo della lezione

Riepilogo: l'allucinazione richiede RAG o verifica, i limiti temporali della conoscenza richiedono il retrieval e il non determinismo richiede una valutazione reale. Prossimo argomento: la Sua prima chiamata all'API OpenAI. 🎉

Domande Frequenti

La lezione «Capacità e limiti degli LLM» è gratuita?

Sì — il testo completo di «Capacità e limiti degli LLM» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso AI Engineering Academy, passa a CoddyKit PRO. Il corso AI Engineering Academy include 4 lezioni in totale.

Cosa imparerò in «Capacità e limiti degli LLM»?

Esplorerà ciò in cui gli LLM eccellono davvero e i casi in cui falliscono, incluse allucinazioni, date limite della conoscenza e limiti nel ragionamento, per definire aspettative realistiche sui prog… Eserciti AI Engineering Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.

Ho bisogno di esperienza per iniziare AI Engineering Academy?

Non è richiesta alcuna esperienza precedente. AI Engineering Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 4 di 4.

Quanto tempo richiede la lezione «Capacità e limiti degli LLM»?

La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.

Posso scrivere ed eseguire codice in questa lezione AI Engineering Academy?

Sì. Ogni lezione AI Engineering Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.

Tutte le lezioni di questo corso

  1. Da Autocomplete a ChatGPT
  2. Transformer e meccanismi di attenzione spiegati in modo semplice
  3. Come vengono addestrati gli LLM
  4. Capacità e limiti degli LLM
← Torna a AI Engineering Academy