Capacidades y limitaciones de los LLM
Explorará en qué destacan realmente los LLM y en qué fallan, incluidas las alucinaciones, las fechas de corte del conocimiento y las limitaciones de razonamiento, para establecer expectativas realistas sobre los proyectos.
Capacidades y limitaciones de los LLM es una lección gratuita de AI Engineering Academy en CoddyKit. Esta es la lección 4 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de AI Engineering Academy, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de AI Engineering Academy incluye 4 lecciones en total.
Partes de esta lección aún no han sido traducidas y se muestran en inglés.
What LLMs Genuinely Excel At
LLMs shine at language work: summarizing, translating, writing code, and reshaping text into formats like JSON. Give a couple examples and they catch the pattern fast.
Hallucination: The Fundamental Failure Mode
Hallucination is when a model confidently states something false. It predicts what sounds likely, not what's true — so never trust it as your only source of facts.
Knowledge Cutoffs and Outdated Information
Every model has a knowledge cutoff — it knows nothing after that date. For recent info, you feed it fresh documents at query time with RAG.
Reasoning Limits: Not a Logic Engine
LLMs mimic reasoning but aren't a true logic engine, so they slip on exact math and multi-step logic. For precise work, hand it to a real tool — see the code.
# Illustrating why you should use tools for computation
from openai import OpenAI
client = OpenAI()
# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'
# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
return round(value * pct / 100, 2)
result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}') # 3525.29 - always correctContext Window as a Hard Constraint
The context window is the max tokens a model can handle at once — prompt, history, and output combined. Go over it and the request just fails.
Sensitivity to Prompt Wording
LLMs are sensitive to prompt wording. A tiny rephrase, or adding "think step by step," can change the answer a lot — powerful, but worth testing carefully.
Inconsistency and Non-Determinism
LLMs are non-deterministic: the same prompt can give different answers. A 95%-right model is still wrong 1 in 20 times, so test across many examples, not a few.
import openai
client = openai.OpenAI()
def sample_with_majority_vote(prompt, n=5):
responses = []
for _ in range(n):
r = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': prompt}],
temperature=0.3,
max_tokens=10
)
responses.append(r.choices[0].message.content.strip())
# Return most common answer
return max(set(responses), key=responses.count)Sycophancy: Agreement Bias
Sycophancy is when a model agrees with you even when you're wrong, because raters liked agreeable answers. For real critique, ask it to argue the other side.
What LLMs Cannot Do
Some limits are built in: an LLM can't browse, run code, recall past chats, or do exact math on its own. Pair it with tools for those jobs.
Bias and Representation Issues
Trained on internet text, LLMs pick up its biases — stereotypes, uneven language coverage, skewed views. Test across groups and document the limits for your users.
Setting Realistic Expectations for Projects
A slick demo can still fail on real inputs. That's not a reason to skip LLMs — it's why you build evaluation in from day one, measuring failures as you go.
Quick Check
Test your understanding of AI Engineering concepts from this lesson.
Lesson Recap
Recap: hallucination needs RAG or verification, knowledge cutoffs need retrieval, and non-determinism needs real evaluation. Next: your first OpenAI API call. 🎉
Preguntas frecuentes
¿La lección «Capacidades y limitaciones de los LLM» es gratis?
Sí — el texto completo de «Capacidades y limitaciones de los LLM» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de AI Engineering Academy, actualiza a CoddyKit PRO. El curso de AI Engineering Academy incluye 4 lecciones en total.
¿Qué aprenderé en «Capacidades y limitaciones de los LLM»?
Explorará en qué destacan realmente los LLM y en qué fallan, incluidas las alucinaciones, las fechas de corte del conocimiento y las limitaciones de razonamiento, para establecer expectativas realist… Practicas AI Engineering Academy con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar AI Engineering Academy?
No se requiere experiencia previa. AI Engineering Academy en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 4 de 4.
¿Cuánto tiempo toma la lección «Capacidades y limitaciones de los LLM»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de AI Engineering Academy?
Sí. Cada lección de AI Engineering Academy incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Del autocompletado a ChatGPT
- Transformers y attention en lenguaje sencillo
- Cómo se entrenan los LLM
- Capacidades y limitaciones de los LLM