AI Engineering Academy · Lekcja

Możliwości i ograniczenia LLM-ów

Możliwości i ograniczenia LLM-ów to bezpłatna lekcja AI Engineering Academy na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej AI Engineering Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs AI Engineering Academy zawiera 4 lekcji w sumie.

Co LLM-y naprawdę robią świetnie

LLM-y świetnie radzą sobie z pracą z językiem: streszczaniem, tłumaczeniem, pisaniem kodu i przekształcaniem tekstu do formatów takich jak JSON. Wystarczy podać kilka przykładów, aby szybko wychwyciły wzorzec.

Halucynacje: podstawowy tryb błędu

Halucynacja występuje wtedy, gdy model z przekonaniem stwierdza coś fałszywego. Przewiduje to, co brzmi prawdopodobnie, a nie to, co jest prawdą — dlatego nie należy traktować go jako jedynego źródła faktów.

Granice wiedzy i nieaktualne informacje

Każdy model ma granicę wiedzy — nie zna informacji powstałych po określonej dacie. Aby uzyskać najnowsze informacje, należy w czasie zapytania dostarczyć mu aktualne dokumenty za pomocą RAG.

Ograniczenia rozumowania: to nie jest silnik logiczny

LLM-y naśladują rozumowanie, ale nie są prawdziwym silnikiem logicznym, dlatego popełniają błędy w dokładnych obliczeniach i wieloetapowej logice. Precyzyjne zadania należy powierzać właściwym narzędziom — zobacz kod.

# Illustrating why you should use tools for computation
from openai import OpenAI

client = OpenAI()

# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'

# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
    return round(value * pct / 100, 2)

result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}')  # 3525.29 - always correct

Okno kontekstu jako twarde ograniczenie

Okno kontekstu to maksymalna liczba tokenów, które model może przetworzyć jednocześnie — łącznie z promptem, historią i odpowiedzią. Po przekroczeniu tego limitu żądanie po prostu kończy się niepowodzeniem.

Wrażliwość na sformułowanie promptu

LLM-y są wrażliwe na sformułowanie promptu. Niewielka zmiana treści albo dodanie „myśl krok po kroku” może znacząco zmienić odpowiedź — to potężna możliwość, ale warto ją dokładnie testować.

Niespójność i niedeterminizm

LLM-y są niedeterministyczne: ten sam prompt może dać różne odpowiedzi. Model, który ma 95% poprawnych odpowiedzi, nadal myli się raz na 20 przypadków, dlatego należy testować go na wielu przykładach, a nie na kilku.

import openai

client = openai.OpenAI()

def sample_with_majority_vote(prompt, n=5):
    responses = []
    for _ in range(n):
        r = client.chat.completions.create(
            model='gpt-4o-mini',
            messages=[{'role': 'user', 'content': prompt}],
            temperature=0.3,
            max_tokens=10
        )
        responses.append(r.choices[0].message.content.strip())
    # Return most common answer
    return max(set(responses), key=responses.count)

Sykofancja: stronniczość ku zgodzie

Sykofancja występuje wtedy, gdy model zgadza się z użytkownikiem nawet wtedy, gdy ten się myli, ponieważ oceniający preferowali zgodne odpowiedzi. Aby uzyskać prawdziwą krytykę, należy poprosić model o przedstawienie przeciwnego stanowiska.

Czego LLM-y nie potrafią

Niektóre ograniczenia są wbudowane: LLM nie potrafi samodzielnie przeglądać internetu, uruchamiać kodu, przypominać sobie wcześniejszych rozmów ani wykonywać dokładnych obliczeń. Do tych zadań należy łączyć go z odpowiednimi narzędziami.

Stronniczość i problemy z reprezentacją

Trenowane na tekstach z internetu LLM-y przejmują jego uprzedzenia — stereotypy, nierównomierne pokrycie języków i stronnicze poglądy. Należy testować je na różnych grupach i dokumentować ograniczenia z myślą o użytkownikach.

Ustalanie realistycznych oczekiwań wobec projektów

Dopracowana wersja demonstracyjna może zawodzić na rzeczywistych danych wejściowych. Nie jest to powód, aby rezygnować z LLM-ów — właśnie dlatego od pierwszego dnia należy uwzględnić ewaluację i na bieżąco mierzyć liczbę błędów.

Szybki test

Sprawdź swoją wiedzę na temat zagadnień inżynierii AI z tej lekcji.

Podsumowanie lekcji

Podsumowanie: halucynacje wymagają RAG lub weryfikacji, granice wiedzy wymagają wyszukiwania, a niedeterminizm — rzeczywistej ewaluacji. Dalej: pierwsze wywołanie OpenAI API. 🎉

Często zadawane pytania

Czy lekcja „Możliwości i ograniczenia LLM-ów” jest bezpłatna?

Tak — pełny tekst „Możliwości i ograniczenia LLM-ów” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu AI Engineering Academy, przejdź na CoddyKit PRO. Kurs AI Engineering Academy zawiera 4 lekcji w sumie.

Co nauczysz się w „Możliwości i ograniczenia LLM-ów”?

Uczestnicy przeanalizują, w czym LLM-y rzeczywiście są skuteczne, a gdzie zawodzą — między innymi w przypadku halucynacji, granic aktualności wiedzy i ograniczeń rozumowania — aby realistycznie plano… Ćwiczysz AI Engineering Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.

Czy potrzebuję doświadczenia, aby zacząć AI Engineering Academy?

Nie wymagamy żadnego doświadczenia. AI Engineering Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.

Ile czasu zajmuje lekcja „Możliwości i ograniczenia LLM-ów”?

Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.

Czy mogę pisać i uruchamiać kod w tej lekcji AI Engineering Academy?

Tak. Każda lekcja AI Engineering Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.

Wszystkie lekcje w tym kursie

Od autouzupełniania do ChatGPT
Transformery i mechanizm uwagi prostym językiem
Jak trenuje się LLM-y
Możliwości i ograniczenia LLM-ów

← Powrót do AI Engineering Academy