Każdy krok zapisany

W poniedziałek rano odkrywasz, że rój, który przez weekend uzgadniał faktury, wysłał też maila do jednego z Twoich dostawców z prośbą o potwierdzenie skorygowanej kwoty. Nie spodziewałeś się tego. Pytasz dlaczego i dostajesz odpowiedź: zgrabny akapit wyjaśniający, że kwoty się nie zgadzały, że potwierdzenie wydawało się rozsądne i że mail był uprzejmy. Akapit napisał ten sam system, który wysłał maila. Może być zgodny z prawdą. Nie masz jak tego sprawdzić.
Ten akapit to zeznanie. Potrzebny był zapis.
Prawdziwa przyczyna: wykonawca sam pisze relację
Większość systemów agentowych trzyma dwa rodzaje historii. Pierwszy to rozmowa, która pokazuje, co model powiedział. Drugi to podsumowanie, które agent tworzy na koniec i które pokazuje, co model mówi, że zrobił. Żaden nie pokazuje, co system naprawdę zrobił: który program został uruchomiony, jaki plik przeczytany, z którym hostem nawiązano połączenie, która reguła na to pozwoliła i kto to zatwierdził.
Kiedy jedyna relacja z działania pochodzi od wykonawcy, incydent zamienia się w przesłuchanie. To kiepski sposób prowadzenia czegokolwiek, czemu chcesz zlecać prawdziwą pracę.
Co zwykle uchodzi za zapis
Transkrypt. Pokazuje słowa. Agent, który mówi „sprawdzam listę dostawców”, i agent, który ją czyta, wyglądają w transkrypcie tak samo, a wydarzyło się tylko jedno z nich.
Podsumowanie. Napisane po fakcie przez agenta o samym sobie. Przydaje się do czytania, a do sprawdzania jest bezużyteczne, bo dziedziczy każdy błąd agenta.
Rozproszone logi. Wywołanie narzędzia w jednym miejscu, żądanie sieciowe w innym, zmiana pliku gdzie indziej, i nic, co łączyłoby je z jednym zadaniem. Odtworzenie przebiegu oznacza ręczne dopasowywanie znaczników czasu.
Nic dla podagentów. W roju log planisty mówi „punkt 7 zrobiony”. Trzysta kroków wewnątrz punktu siódmego zniknęło razem z kontekstem podagenta.
Log, który agent może edytować. Jeśli historia leży tam, gdzie agent pisze, jest szkicem, a nie zapisem.
Czym jest zapis przebiegu
W KyberAgencie każdy krok trafia do zapisu przebiegu, czyli trajektorii, a cztery cechy sprawiają, że jest to zapis, a nie opowieść.
Prowadzi go cela, nie agent. Cela KyberCell, w której działa agent, widzi każde wywołanie modelu i narzędzia, każdy przeczytany albo zapisany plik i każde połączenie otwarte albo odrzucone, bo wszystko to przez nią przechodzi. Agent nie może pominąć kroku ani dopisać takiego, którego nie było.
Każdy krok jest powiązany. Każdy wpis należy do punktu planu, każdy punkt do roju, każdy rój do polecenia, które przekazał KyberBot. Od maila do dostawcy możesz przejść w górę do punktu, który go wysłał, do raportu, który to wywołał, i do zgody, którą dostał albo nie.
Można go tylko dopisywać i leży poza zasięgiem agenta. Zapis jest przechowywany tam, gdzie agent nie pisze. Czytać go możesz Ty i homeostat, który pilnuje kosztu i odsetka poprawek, ale nie może go przepisać to, co on opisuje.
Zapisuje decyzje, nie tylko zdarzenia. Odrzucone połączenie jest w nim. Polityka, która pozwoliła na krok, jest wymieniona obok tego kroku. Pytanie, które poszło w górę do KyberBota, i odpowiedź, która wróciła, też tam są.
To ta sama idea, która rządzi robotem. Gdy KyberBot prowadzi maszynę, która ma masę, każdy ruch jest zapisywany, żeby incydent dało się odtworzyć, a nie zgadywać — to argument z tekstu KyberBot w robocie. Agent wysyłający maila waży mniej niż robot w przedpokoju, ale zasada przenosi się bez zmian.
Zapis to także ryzyko
Pełny zapis przebiegu jest wrażliwy. Zawiera to, co czytali Twoi agenci, czyli fragmenty Twojego życia. Dlatego zostaje Twój: na Twoim urządzeniu, gdy rój działa lokalnie, a zaszyfrowany i niepowiązany z Tobą, gdy praca szła w chmurze. Co węzeł widzi, a czego nie, opisuje tekst co węzeł chmury wie o Tobie. Możesz zapis czytać, przechowywać i usunąć. Ma odpowiadać przed Tobą, a nie przed kimkolwiek innym.
Ma też swój koszt. Zapisywanie każdego kroku zajmuje miejsce i trochę czasu, a zapis, którego
nikt nie czyta, to po prostu duży plik. Poglądowe polecenie kyber agent trace jest po to,
żeby czytanie go było czymś zwyczajnym, a nie wyczynem.
Test, który możesz zrobić dziś
Wybierz jedno działanie, które agent wykonał dla Ciebie w ostatnim tygodniu: wysłaną wiadomość, zmieniony plik, zasugerowany zakup. Potem, nie pytając agenta, spróbuj odpowiedzieć:
- Który krok to spowodował?
- Jakie wejście widział ten krok?
- Która reguła na to pozwoliła?
- Kto to zatwierdził, jeśli ktokolwiek?
Zmierz sobie czas. Jeśli którakolwiek odpowiedź pochodzi z relacji samego agenta, masz zeznanie, a nie zapis. Strona główna KyberAgent pokazuje, gdzie zapis mieści się w reszcie systemu.
- zapis przebiegu
- audyt
- logowanie
- rozliczalność