Capacidades e limitações dos LLMs
Explore em que os LLMs são realmente excelentes e onde falham, incluindo alucinações, limites de conhecimento e limitações de raciocínio, para definir expectativas realistas para seus projetos.
Capacidades e limitações dos LLMs é uma aula grátis de AI Engineering Academy no CoddyKit. Esta é a aula 4 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de AI Engineering Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de AI Engineering Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
What LLMs Genuinely Excel At
LLMs shine at language work: summarizing, translating, writing code, and reshaping text into formats like JSON. Give a couple examples and they catch the pattern fast.
Hallucination: The Fundamental Failure Mode
Hallucination is when a model confidently states something false. It predicts what sounds likely, not what's true — so never trust it as your only source of facts.
Knowledge Cutoffs and Outdated Information
Every model has a knowledge cutoff — it knows nothing after that date. For recent info, you feed it fresh documents at query time with RAG.
Reasoning Limits: Not a Logic Engine
LLMs mimic reasoning but aren't a true logic engine, so they slip on exact math and multi-step logic. For precise work, hand it to a real tool — see the code.
# Illustrating why you should use tools for computation
from openai import OpenAI
client = OpenAI()
# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'
# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
return round(value * pct / 100, 2)
result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}') # 3525.29 - always correctContext Window as a Hard Constraint
The context window is the max tokens a model can handle at once — prompt, history, and output combined. Go over it and the request just fails.
Sensitivity to Prompt Wording
LLMs are sensitive to prompt wording. A tiny rephrase, or adding "think step by step," can change the answer a lot — powerful, but worth testing carefully.
Inconsistency and Non-Determinism
LLMs are non-deterministic: the same prompt can give different answers. A 95%-right model is still wrong 1 in 20 times, so test across many examples, not a few.
import openai
client = openai.OpenAI()
def sample_with_majority_vote(prompt, n=5):
responses = []
for _ in range(n):
r = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': prompt}],
temperature=0.3,
max_tokens=10
)
responses.append(r.choices[0].message.content.strip())
# Return most common answer
return max(set(responses), key=responses.count)Sycophancy: Agreement Bias
Sycophancy is when a model agrees with you even when you're wrong, because raters liked agreeable answers. For real critique, ask it to argue the other side.
What LLMs Cannot Do
Some limits are built in: an LLM can't browse, run code, recall past chats, or do exact math on its own. Pair it with tools for those jobs.
Bias and Representation Issues
Trained on internet text, LLMs pick up its biases — stereotypes, uneven language coverage, skewed views. Test across groups and document the limits for your users.
Setting Realistic Expectations for Projects
A slick demo can still fail on real inputs. That's not a reason to skip LLMs — it's why you build evaluation in from day one, measuring failures as you go.
Quick Check
Test your understanding of AI Engineering concepts from this lesson.
Lesson Recap
Recap: hallucination needs RAG or verification, knowledge cutoffs need retrieval, and non-determinism needs real evaluation. Next: your first OpenAI API call. 🎉
Perguntas Frequentes
A aula “Capacidades e limitações dos LLMs” é grátis?
Sim — o texto completo de “Capacidades e limitações dos LLMs” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de AI Engineering Academy, atualize para CoddyKit PRO. O curso de AI Engineering Academy inclui 4 aulas no total.
O que vou aprender em “Capacidades e limitações dos LLMs”?
Explore em que os LLMs são realmente excelentes e onde falham, incluindo alucinações, limites de conhecimento e limitações de raciocínio, para definir expectativas realistas para seus projetos. Você pratica AI Engineering Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar AI Engineering Academy?
Nenhuma experiência prévia é necessária. AI Engineering Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 4 de 4.
Quanto tempo leva a aula “Capacidades e limitações dos LLMs”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de AI Engineering Academy?
Sim. Cada aula de AI Engineering Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Do preenchimento automático ao ChatGPT
- Transformadores e atenção em linguagem simples
- Como os LLMs são treinados
- Capacidades e limitações dos LLMs