Шаблоны работы агентов: планирование — выполнение — проверка

Зачем сначала составлять PLAN?

Step 1: Plan

PLAN_PROMPT = '''
You are a senior engineer. Given this task, produce a JSON plan:
{steps: [{description, files_to_touch: [str], test_commands: [str]}], risks: [str]}

Task: {user_task}
'''

Plan Schema

from pydantic import BaseModel

class Step(BaseModel):
    description: str
    files_to_touch: list[str]
    test_commands: list[str]

class Plan(BaseModel):
    steps: list[Step]
    risks: list[str]

Step 2: Выполнение

for step in plan.steps:
    context = {f: read_file(f) for f in step.files_to_touch}
    diff = llm.invoke(f'Implement: {step.description}\nFiles:\n{context}').content
    apply_diff(diff)

Step 3: Проверка

for cmd in step.test_commands:
    result = sandbox.run(cmd)
    if result.exit_code != 0:
        # Verification failed; iterate
        loop_until_verified(step, result.stderr)

Step 4: Iterate Until Pass

MAX_ITERS = 5
for iter in range(MAX_ITERS):
    result = sandbox.run(test_cmd)
    if result.exit_code == 0:
        break
    fix = llm.invoke(f'Tests failed:\n{result.stderr}\nFix the code.').content
    apply_diff(fix)

Показывайте DIFFS, а не целые файлы

diff = '''
--- a/main.py
+++ b/main.py
@@ -10,3 +10,4 @@
  def add(a, b):
      return a + b
+
+def sub(a, b): return a - b
'''
import patch
patch.fromstring(diff).apply()

Качество PLAN имеет значение

Составляйте новый PLAN при остановке

if iter == MAX_ITERS - 1:
    new_plan = llm.invoke(f'Original plan failed. Errors: {errors}. Make a new plan.').content

Компромисс при планировании на длинный горизонт

PLAN и критик

Показывайте PLAN пользователю

approved_plan = await ask_user_to_approve_or_edit(plan)
execute(approved_plan)

PLAN — выполнение — проверка

Итоги