LLMの能力と限界
LLMが本当に得意なことと苦手なことを、ハルシネーション、知識のカットオフ、推論の限界も含めて学び、プロジェクトに対する現実的な期待値を設定します。
「LLMの能力と限界」はCoddyKit上の無料AI Engineering Academyレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAI Engineering Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Engineering Academyコースには全4レッスンが含まれています。
LLMが本当に得意なこと
LLMは言語に関する作業を得意としています。要約、翻訳、コードの作成、テキストのJSONなどの形式への変換がその例です。いくつか例を示すと、パターンをすぐに把握します。
ハルシネーション：根本的な失敗モード
ハルシネーションとは、モデルが誤った内容を自信満々に述べることです。モデルは真実ではなく、もっともらしく聞こえる内容を予測します。そのため、事実を確認する唯一の情報源として決して信頼してはいけません。
知識カットオフと古い情報
すべてのモデルには知識カットオフがあり、その日付より後の情報は知りません。最新の情報が必要な場合は、RAGを使ってクエリ実行時に新しい文書を与えます。
推論の限界：論理エンジンではない
LLMは推論をまねしますが、本当の論理エンジンではありません。そのため、正確な計算や複数段階の論理で間違えることがあります。精密な作業は実際のツールに任せてください。コードを確認しましょう。
# Illustrating why you should use tools for computation
from openai import OpenAI
client = OpenAI()
# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'
# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
return round(value * pct / 100, 2)
result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}') # 3525.29 - always correct厳しい制約としてのコンテキストウィンドウ
コンテキストウィンドウは、モデルが一度に処理できる最大トークン数です。プロンプト、履歴、出力を合計したものが対象になります。上限を超えると、リクエストは失敗します。
プロンプトの文言への敏感さ
LLMはプロンプトの文言に敏感です。少し言い換えたり、「段階的に考えて」と追加したりするだけで、回答が大きく変わることがあります。強力な方法ですが、慎重にテストする価値があります。
一貫性のなさと非決定性
LLMは非決定的です。同じプロンプトでも異なる回答を返すことがあります。95%正しいモデルでも20回に1回は間違うため、少数の例ではなく、多くの例でテストしてください。
import openai
client = openai.OpenAI()
def sample_with_majority_vote(prompt, n=5):
responses = []
for _ in range(n):
r = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': prompt}],
temperature=0.3,
max_tokens=10
)
responses.append(r.choices[0].message.content.strip())
# Return most common answer
return max(set(responses), key=responses.count)迎合：同意するバイアス
迎合とは、あなたが間違っていてもモデルが同意することです。これは、評価者が同意する回答を好んだために起こります。本当の批評が必要な場合は、反対の立場から議論するように指示してください。
LLMにできないこと
一部の制限は組み込まれています。LLMは単独ではブラウジング、コードの実行、過去のチャットの想起、正確な計算を行えません。これらの作業にはツールを組み合わせてください。
バイアスと表現に関する問題
インターネット上のテキストで学習したLLMは、そこに含まれるバイアスも取り込みます。たとえば、固定観念、言語ごとの偏ったカバー範囲、偏った見方などです。複数の集団でテストし、利用者に制限事項を明示してください。
プロジェクトに対する現実的な期待値の設定
洗練されたデモでも、実際の入力では失敗することがあります。だからといってLLMを避けるべきなのではありません。初日から評価を組み込み、進行に合わせて失敗を測定することが重要です。
クイックチェック
このレッスンで学んだAI Engineeringの概念を理解できているか確認しましょう。
レッスンのまとめ
まとめ：ハルシネーションにはRAGまたは検証が必要で、知識カットオフには検索が必要です。また、非決定性には実際の評価が必要です。次は、初めてOpenAI APIを呼び出します。🎉
よくある質問
「LLMの能力と限界」レッスンは無料ですか？
はい。「LLMの能力と限界」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、AI Engineering Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Engineering Academyコースには全4レッスンが含まれています。
「LLMの能力と限界」で何を学びますか？
LLMが本当に得意なことと苦手なことを、ハルシネーション、知識のカットオフ、推論の限界も含めて学び、プロジェクトに対する現実的な期待値を設定します。 ブラウザで直接実行するハンズオンコードでAI Engineering Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
AI Engineering Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのAI Engineering Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「LLMの能力と限界」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このAI Engineering Academyレッスンでコードを書いて実行できますか？
はい。すべてのAI Engineering Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。