ReAct: wzorzec rozumowanie + działanie

ReAct to skrót od Reason + Act. Jest to kanoniczny wzorzec dla wieloetapowych agentów LLM — opublikowany przez Yao i współautorów w 2022 roku i nadal stanowiący podstawę większości współczesnych agentów.

W każdym kroku agent emituje trzy elementy:

1. Thought — co należy zrobić dalej, opisane językiem naturalnym
2. Action — wybrane narzędzie i przekazywane mu argumenty
3. Observation — wynik narzędzia przekazany z powrotem do agenta

Proces jest powtarzany, aż agent wyemituje Final Answer.

Krok „Thought” pozwala modelowi przed wykonaniem działania przedstawić tok rozumowania. Jest to zastosowanie techniki chain-of-thought w agentach.

Bez kroku Thought model często wybiera niewłaściwe narzędzia lub błędne argumenty.

Starsze implementacje ReAct analizowały wiersze Action w zwykłym tekście. Nowoczesne implementacje korzystają z interfejsu function calling:

• Narzędzia definiowane jako schematy JSON
• Model zwraca tool_calls zamiast tekstowych wierszy Action
• Model wychwytuje błędy po dołączeniu wyników

• Plan-and-Execute — najpierw tworzony jest pełny plan, a następnie jest on wykonywany
• Reflexion — agent dokonuje samooceny po każdym kroku
• Tree-of-Thoughts — eksplorowanych jest wiele gałęzi Thought

• Zadania obejmujące kroki eksploracyjne (badanie, debugowanie)
• Zadania, w których kolejne działanie zależy od poprzedniego wyniku
• Zadania, których planu nie da się z góry określić

• Stałe potoki (tłumaczenie, klasyfikacja) — to rozwiązanie jest przesadne
• Bardzo długie zadania — lepiej sprawdza się Plan-and-Execute
• Pętle sterowania w czasie rzeczywistym — działają zbyt wolno

• Pętle, w których agent wielokrotnie wywołuje to samo narzędzie
• Przedwczesne wygenerowanie Final Answer bez wystarczających informacji
• Problemy ze zrozumieniem sytuacji, gdy narzędzia zawiodą
• Nadmierne zużycie tokenów przez zbyt rozwlekłe kroki Thought

Po wygenerowaniu Final Answer należy zapytać agenta: „Czy odpowiedź jest poprawna? Czy można ją ulepszyć?” Wiele implementacji dodaje ten krok refleksji, aby zwiększyć jakość.

• LangChain create_react_agent
• LlamaIndex ReActAgent
• AutoGen UserProxyAgent + AssistantAgent
• Implementacja własna — łatwiejsza, niż się wydaje

ReAct dodaje 2–3 razy więcej wywołań LLM niż pojedyncze wywołanie. Każdy krok Thought jest wywołaniem LLM, a obserwacje zwiększają liczbę tokenów. Należy ograniczyć MAX_STEPS oraz liczbę tokenów dla każdego kroku.

Jakie są trzy elementy kroku ReAct?

ReAct stanowi podstawę wieloetapowych agentów. Opanowanie tej pętli pozwala budować dowolnych agentów korzystających z narzędzi.