LLMOpsと従来のMLOpsの違い
プロンプト、コンテキスト、非決定性が進め方を変えます。
「LLMOpsと従来のMLOpsの違い」はCoddyKit上の無料MLOps Academyレッスンです。 これはレッスン1/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはMLOps Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 MLOps Academyコースには全4レッスンが含まれています。
MLOpsの新しい形
皆さんはすでにMLOpsを知っています。LLMOpsは、大規模言語モデルを対象とする同じ開発・運用の考え方です。大規模言語モデルでは、重みと同じくらいプロンプトやコンテキストが重要になります。🤖
学習しないことが多い
従来のMLではモデルを学習させます。LLMOpsでは通常、APIの背後にある事前学習済みモデルを呼び出すため、実際の作業はプロンプト作成とオーケストレーションへと移ります。
プロンプトがプログラムになる
同じモデルでも、言葉の選び方によって回答は大きく変わります。ここではプロンプトを、コードと同じようにバージョン管理し、テストし、レビューする第一級の成果物として扱います。
prompt = "Summarize this support ticket in one sentence:\n\n{ticket}"
response = client.responses.create(model="gpt-4o", input=prompt)出力は非決定的
同じプロンプトを2回送っても、異なるテキストが返ることがあります。この非決定性により、従来のテストのように完全一致を検証することはできません。
温度でランダム性を制御する
temperatureを調整して、創造性と一貫性のバランスを取ります。値を低くすると出力が安定するため、評価やデバッグがはるかに容易になります。
response = client.responses.create(
model="gpt-4o", input=prompt, temperature=0.0)コンテキストが新しい特徴量になる
従来のモデルは表形式の特徴量を読み取ります。LLMアプリでは、ドキュメントや履歴をコンテキストウィンドウに組み込むため、特徴量エンジニアリングに代わってコンテキストエンジニアリングを行います。
評価はあいまいになる
自由形式のテキストに対して、単純に正解率を計算することはできません。LLMOpsでは、評価基準、参照回答、または判定役となる別のモデルを使ったスコアリングに頼ります。
トークンはそのままコストになる
すべてのリクエストは、入力と出力のトークン数に基づいて課金されます。コストはトラフィックに比例して直接増えるため、トークン使用量の監視は中核的な運用メトリクスになります。
usage = response.usage
print(usage.input_tokens, usage.output_tokens)レイテンシーはモデルで決まる
生成には時間がかかり、出力の長さによって変動します。レイテンシーはモデルが出力するトークン数に左右されるため、レスポンスをストリーミングするとユーザーの満足度を保ちやすくなります。
安全対策を最初から組み込む
LLMは幻覚を起こしたり、データを漏えいさせたりする可能性があります。LLMOpsでは、後付けではなく標準的な層として、入力と出力にガードレールを追加します。
同じループに新しいツールを加える
デプロイ、監視、改善という流れは変わりません。変わるのはツール群です。プロンプトレジストリ、トレーシング、評価、ガードレールが、使い慣れたMLOpsスタックに加わります。
クイックチェック
1つのプロンプトを2回送ったところ、異なる回答が返ってきました。これはどのような性質でしょうか。
まとめ
LLMOpsでは、学習よりもプロンプト、コンテキスト、非決定的な出力、トークン、安全性に重点が移ることを学びました。ライフサイクルは同じで、ツールが新しくなります。すばらしいスタートです！🎉
AI チューターと学ぶ Python — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「LLMOpsと従来のMLOpsの違い」レッスンは無料ですか？
はい。「LLMOpsと従来のMLOpsの違い」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、MLOps Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 MLOps Academyコースには全4レッスンが含まれています。
「LLMOpsと従来のMLOpsの違い」で何を学びますか？
プロンプト、コンテキスト、非決定性が進め方を変えます。 ブラウザで直接実行するハンズオンコードでMLOps Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
MLOps Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのMLOps Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン1/4です。
「LLMOpsと従来のMLOpsの違い」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このMLOps Academyレッスンでコードを書いて実行できますか？
はい。すべてのMLOps Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- LLMOpsと従来のMLOpsの違い
- プロンプトをバージョン管理して出力を評価する
- LLM呼び出しを追跡・監視する
- ガードレールとRAG評価