Возможности и ограничения LLM
Изучите, с какими задачами LLM действительно хорошо справляются, а где ошибаются, включая галлюцинации, ограничения по дате знаний и пределы рассуждений, чтобы реалистично оценивать проекты.
«Возможности и ограничения LLM» — бесплатный урок AI Engineering Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения AI Engineering Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс AI Engineering Academy содержит 4 уроков всего.
Что LLM действительно умеют лучше всего
LLM особенно хороши в работе с языком: обобщении, переводе, написании кода и преобразовании текста в такие форматы, как JSON. Дайте несколько примеров — и они быстро уловят закономерность.
Галлюцинации: основная причина сбоев
Галлюцинация — это ситуация, когда модель уверенно сообщает неправду. Она предсказывает то, что звучит правдоподобно, а не то, что истинно, поэтому не доверяйте ей как единственному источнику фактов.
Граница знаний и устаревшая информация
У каждой модели есть граница знаний — после этой даты она ничего не знает. Чтобы получить свежую информацию, во время запроса передайте ей актуальные документы с помощью RAG.
Ограничения рассуждений: это не логический движок
LLM имитируют рассуждения, но не являются настоящим логическим движком, поэтому ошибаются в точных вычислениях и многошаговой логике. Для точной работы передайте задачу специализированному инструменту — смотрите код.
# Illustrating why you should use tools for computation
from openai import OpenAI
client = OpenAI()
# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'
# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
return round(value * pct / 100, 2)
result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}') # 3525.29 - always correctКонтекстное окно как жёсткое ограничение
Контекстное окно — это максимальное число токенов, которое модель может обработать за один раз: сюда входят запрос, история и ответ. Превысите этот предел — и запрос завершится ошибкой.
Чувствительность к формулировке запроса
LLM чувствительны к формулировке запроса. Небольшая перефразировка или добавление слов «думайте шаг за шагом» может сильно изменить ответ — это мощный приём, но его стоит тщательно проверять.
Непоследовательность и недетерминированность
LLM недетерминированы: один и тот же запрос может дать разные ответы. Даже модель, которая отвечает правильно в 95% случаев, ошибается примерно в одном случае из 20, поэтому проверяйте её на множестве примеров, а не на нескольких.
import openai
client = openai.OpenAI()
def sample_with_majority_vote(prompt, n=5):
responses = []
for _ in range(n):
r = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': prompt}],
temperature=0.3,
max_tokens=10
)
responses.append(r.choices[0].message.content.strip())
# Return most common answer
return max(set(responses), key=responses.count)Лесть: склонность соглашаться
Лесть — это ситуация, когда модель соглашается с вами, даже если вы ошибаетесь, потому что оценщикам нравились соглашательные ответы. Чтобы получить настоящую критику, попросите её защищать противоположную позицию.
Чего LLM не умеют
Некоторые ограничения заложены изначально: LLM не умеет самостоятельно просматривать веб-страницы, запускать код, вспоминать прошлые чаты или выполнять точные вычисления. Для таких задач подключайте инструменты.
Проблемы предвзятости и репрезентации
Обучаясь на текстах из интернета, LLM перенимают его предубеждения: стереотипы, неравномерное представление языков и односторонние взгляды. Проверяйте систему на разных группах и описывайте ограничения для пользователей.
Реалистичные ожидания от проектов
Даже эффектная демонстрация может провалиться на реальных входных данных. Это не причина отказываться от LLM — именно поэтому с первого дня нужно встраивать оценивание и отслеживать ошибки по мере работы.
Быстрая проверка
Проверьте своё понимание концепций инженерии ИИ из этого урока.
Итоги урока
Итоги: галлюцинации требуют RAG или проверки, для преодоления границы знаний нужен поиск, а недетерминированность требует настоящего оценивания. Далее: ваш первый вызов API OpenAI. 🎉
Часто задаваемые вопросы
Урок «Возможности и ограничения LLM» бесплатный?
Да — полный текст урока «Возможности и ограничения LLM» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс AI Engineering Academy, подпишись на CoddyKit PRO. Курс AI Engineering Academy содержит 4 уроков всего.
Чему я научусь в уроке «Возможности и ограничения LLM»?
Изучите, с какими задачами LLM действительно хорошо справляются, а где ошибаются, включая галлюцинации, ограничения по дате знаний и пределы рассуждений, чтобы реалистично оценивать проекты. Ты практикуешь AI Engineering Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать AI Engineering Academy?
Предыдущий опыт не требуется. AI Engineering Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Возможности и ограничения LLM»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке AI Engineering Academy?
Да. Каждый урок AI Engineering Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- От автодополнения до ChatGPT
- Трансформеры и механизм внимания простыми словами
- Как обучаются LLM
- Возможности и ограничения LLM