Rój zamiast jednego bota

Dajesz agentowi zadanie, które wygląda rozsądnie: porównaj dwanaście umów z dostawcami z Twoimi standardowymi warunkami i opisz, czym każda z nich się różni. Początek jest dobry. Przy piątej umowie agent ma za sobą trzysta stron, dwa podejścia do tabeli porównawczej i jedno z nich porzucone. Przy dziewiątej cytuje klauzulę o wypowiedzeniu, która pochodzi z czwartej. Podsumowanie przychodzi po dwóch godzinach: płynne, pewne siebie i błędne w co najmniej dwóch miejscach. Nie wiesz, w których, a jedyny sposób, żeby się dowiedzieć, to zrobić całą robotę samemu.

Nic w tej historii nie wymaga złego modelu. Ten sam model zapytany osobno o dziewiątą umowę odpowie dobrze.

Prawdziwą przyczyną jest kształt zadania

Pojedynczy agent przy długim zadaniu niesie całe zadanie w jednym kontekście. Każda przeczytana strona, każdy wynik narzędzia, każda ślepa uliczka i każda poprawka planu zostają w oknie i konkurują o uwagę z tym, co ważne teraz. Kontekst jest zasobem deficytowym, a jeden bot wydaje go na własną historię.

Większe okna odsuwają problem w czasie, ale go nie usuwają. Dłuższe okno pozwala agentowi trzymać więcej przeszłości, czyli dokładnie tego, co mu szkodzi. Rozwiązaniem nie jest więcej miejsca, tylko mniej bałaganu w jednym miejscu.

Gdzie jeden bot się sypie

Gnijący kontekst. Materiał z początku zadania przecieka do decyzji pod jego koniec. Agent nie zapomina czwartej umowy; przypomina ją sobie w złym momencie.

Plan, który mieszka w głowie. Plan istnieje tylko jako zdania w rozmowie. Kiedy się zmienia, stara wersja nadal tam jest, kilka stron wyżej, i nic nie mówi, która obowiązuje. Żeby przeczytać plan, trzeba przeczytać cały zapis rozmowy.

Jeden zestaw uprawnień do wszystkiego. Krok, który czyta stronę obcej osoby, działa z tymi samymi kluczami i tą samą siecią co krok, który wysyła maila. Do czego najmniej wiarygodne wejście zdoła namówić agenta, to agent zrobi ze wszystkim, co mu dałeś.

Brak jednostki przeglądu. Dwie godziny pracy wracają jako jeden blok prozy. Nie sprawdzisz wniosku o siódmej umowie bez sprawdzania wszystkiego, więc w praktyce nikt nie sprawdza niczego.

Porażka typu wszystko albo nic. Jeśli przebieg padnie w dziewięćdziesiątej minucie, praca pada razem z nim. Nie ma listy tego, co skończone, ani niczego na dysku, od czego można wznowić.

Co zamiast tego robi rój

Rój dzieli to samo zadanie wzdłuż linii, którymi podzieliłby je uważny człowiek.

Planista bierze cel i zapisuje go jako listę zadań — w pliku, a nie w głowie: dwanaście umów, po jednym punkcie na każdą, i ostatni punkt na złożenie porównania. Plik jest planem. Można go przeczytać, poprawić i wznowić, a gdy planista zmienia zdanie, zmiana jest widoczna.

Każdy punkt trafia do podagenta z czystym kontekstem. Widzi jedną umowę, Twoje standardowe warunki i instrukcję porównania — i nic więcej. Czyta i błądzi we własnym obszarze roboczym, a potem oddaje jeden raport: znalezione różnice z odwołaniami do stron. Brudnopis zostaje w jego plikach, gdzie możesz do niego zajrzeć, i nie zaśmieca planiście głowy.

Kontekst planisty mieści teraz plan i dwanaście krótkich raportów. To na tyle mało, żeby dało się nad tym jasno myśleć, i o to właśnie chodzi.

Dwie kolejne cechy przychodzą w gratisie. Każdy podagent działa we własnej celi KyberCell, więc ten, który czyta niezaufany dokument, nie ma ani kluczy, ani otwartej sieci. A ponieważ każdy krok jest zapisywany, wniosek o siódmej umowie ma własny zapis przebiegu, który sprawdzisz bez ruszania pozostałych jedenastu.

Gdy krok jest wrażliwy — coś wysłać, za coś zapłacić, coś usunąć — rój nie decyduje sam. Zatrzymuje się i pyta asystenta, który zlecił pracę, a ten pyta Ciebie. Temu przekazaniu poświęcony jest tekst na stronie KyberBota o tym, jak asystent przekazuje pracę rojowi. Pod spodem każdą celę trzyma na miejscu system operacyjny, o czym opowiada tekst jak KyberLinux trzyma rój w celach.

Ile kosztuje rój

Nie jest za darmo. Rój zużywa w sumie więcej mocy obliczeniowej niż jeden bot przy tym samym zadaniu, bo dwunastu podagentów czyta te same standardowe warunki i każdy zaczyna od zera. Koordynacja dokłada opóźnienia. A przy krótkim pytaniu rój to ceremonia: żeby ustalić, która z dwóch dat jest późniejsza, nie trzeba planisty.

Ta wymiana się opłaca, gdy zadanie jest dłuższe niż uwaga jednego kontekstu, gdy część z niego dotyka niezaufanego materiału albo gdy ktoś będzie musiał sprawdzać wynik kawałek po kawałku. Większość pracy, która ma znaczenie, spełnia co najmniej jeden z tych warunków.

Test, który możesz zrobić dziś

Weź ostatnie zadanie, które dałeś asystentowi i które trwało dłużej niż pół godziny, i odpowiedz na cztery pytania, nie pytając asystenta.

1. Czy możesz przeczytać plan w obecnej postaci, osobno od rozmowy?
2. Czy możesz wskazać część wyniku pochodzącą z jednego podzadania i sprawdzić ją osobno?
3. Gdybyś przerwał przebieg w połowie, co by przetrwało?
4. Czy krok, który czytał niezaufane wejście, miał te same uprawnienia co krok, który mógł działać?

Jeśli odpowiedzi brzmią: nie, nie, nic i tak — miałeś bota, a nie rój. To nie zarzut wobec modelu. To opis kształtu, w który go wciśnięto, a kształt jest tą częścią, którą możesz zmienić. Strona główna KyberAgent pokazuje, jak reszta systemu się wokół tego układa.