Orkestrator og arbeidere

Systemet er bare så godt som orkestratørens oppdeling. Deloppgavene må være tilstrekkelig uavhengige til å kunne kjøres parallelt, tilstrekkelig avgrensede til å kunne overleveres ryddig, og samlet sett fullstendige. La orkestratøren lage en eksplisitt plan som De kan inspisere før noen arbeider kjører.

• Uavhengige deloppgaver -> parallell utførelse.
• Fullstendig dekning -> ingen hull i det endelige svaret.

Hver fordeling gir en arbeider nøyaktig målet, inputene og det forventede output-skjemaet – ikke noe mer. En arbeider som bare kjenner sin del, kan ikke distraheres av det overordnede målet og returnerer en forutsigbar struktur som orkestratøren kan integrere.

Fordelingsmeldingen er en kontrakt: tydelig leveranse, tydelig format og tydelige kriterier for når arbeidet er ferdig.

Arbeidere bør som standard ikke se hele konteksten til hverandre. Isolasjon hindrer at feil eller hallusinasjoner fra én arbeider forurenser en annen, og holder prompten til hver arbeider liten og mulig å cache. Orkestratøren er den eneste komponenten med det globale overblikket.

Del bare informasjon mellom arbeidere gjennom orkestratørens kvalitetssikrede oppsummeringer, aldri gjennom rå kommunikasjon på tvers.

Uavhengige deloppgaver kjøres parallelt for å redusere ventetiden, mens avhengige deloppgaver må følge riktig rekkefølge. Orkestratørens plan beskriver en avhengighetsgraf, og kjøretidsmiljøet planlegger deretter – spre ut de uavhengige bladene, og slå dem sammen igjen etterpå.

• Utsending: fordel alle klare deloppgaver samtidig.
• Sammenføying: vent på avhengighetene før avhengige oppgaver fordeles.

Integrasjon er ikke sammenkobling av tekst. Orkestratøren må avstemme overlappende, motstridende eller lite pålitelige resultater fra arbeiderne til ett helhetlig resultat, avgjøre hva som skal stoles på, og synliggjøre uløste konflikter.

Gi orkestratøren et eksplisitt avstemmingssteg med regler: foretrekk resultater med høyere tillit, marker motsetninger, og be om en ny kjøring når dekningen er ufullstendig.

Orkestratøren har også ansvaret for kontrollflyten: å avgjøre når den skal stoppe, når en mislykket arbeider skal prøves på nytt, når planen skal utarbeides på nytt, og når saken skal eskaleres. Dermed kan den håndheve budsjetter – maksimalt antall iterasjoner, maksimale kostnader og maksimal dybde – og forhindre løpske løkker.

Uten en orkestratør som har kontroll, kommer fleragentsystemer ut av kontroll.

En arbeider kan selv fungere som orkestratør for et delproblem og dermed danne et hierarki. Dette håndterer dype oppgaver, men øker både ventetiden og dybden for feilforplantning. Begrens rekursjonsdybden, og krev at hvert nivå returnerer en ryddig oppsummering, slik at de øvre nivåene aldri drukner i detaljer fra de lavere nivåene.

Utform systemet slik at en enkelt feil hos en arbeider håndteres på en kontrollert måte. Orkestratøren bør oppdage ugyldig eller tom output fra en arbeider, prøve på nytt med en tydeligere kontrakt og bruke et alternativ i stedet for å krasje. Arbeidere feiler isolert; orkestratøren tar hånd om feilen og finner en vei rundt den.

• Valider hver retur fra en arbeider mot skjemaet.
• Prøv på nytt og bruk deretter et alternativ; ikke viderefør råfeil oppover.

Planen er følgende: Orkestratøren deler oppgaven i en inspiserbar plan basert på en avhengighetsgraf, fordeler stramme kontrakter til isolerte arbeidere, kjører uavhengige deloppgaver parallelt, validerer og avstemmer resultatene ved hjelp av eksplisitte konfliktregler, håndhever budsjetter og stoppbetingelser, og begrenser feil hos arbeidere med «prøv på nytt, bruk deretter et alternativ». Vurderingene forblir sentraliserte, mens arbeidet fordeles.

Samle planlegging, ruting, integrasjon og kontroll i én orkestrator; legg den fokuserte utførelsen til isolerte arbeidere med strenge kontrakter. Bryt opp arbeidet i en inspiserbar avhengighetsgraf, parallelliser uavhengige deloppgaver, avstem resultater med eksplisitte konfliktregler, håndhev budsjetter og stoppbetingelser, og begrens feil hos arbeidere med validate-retry-fallback. Orkestratoren resonerer over sammendrag, aldri rå kommunikasjon på tvers, slik at hierarkiet forblir helhetlig og kontrollerbart.