Dwa agenty się nie zgadzają: jak rój rozstrzyga spór

Rój sprawdza partię faktur od dostawców wobec zamówień, które mają realizować. Dwaj podagenci biorą sąsiednie części partii. Pierwszy raportuje, że pewna dostawa była krótsza o jedną paletę i fakturę trzeba zakwestionować. Drugi, pracując na dzienniku magazynu, raportuje, że ta sama dostawa przyszła w komplecie i faktura jest w porządku.

Oba raporty są płynne. Oba coś cytują. Oba są pewne siebie. Planista ma na liście jedno miejsce na tę fakturę i dwie niezgodne odpowiedzi do wpisania.

W wielu systemach agentowych dalej dzieje się tak, że planista czyta oba raporty, pisze zdanie, które brzmi jak decyzja, i idzie dalej. Potem nikt nie umie powiedzieć, który raport wygrał ani dlaczego.

Prawdziwa przyczyna: twierdzenie bez dowodu to tylko głos

Raport podagenta to wniosek. Jeśli wraca jako sama proza, planista nie ma nic do porównania poza prozą, a proza z dwóch instancji tego samego modelu będzie wyglądać równie wiarygodnie. Planista robi wtedy to, co ludzie robią z dwoma pewnymi siebie głosami: wybiera ten, który brzmi pewniej, albo ten, który czytał jako ostatni, albo pyta trzecią instancję i traktuje większość jak prawdę.

Żadne z tych wyjść nie jest regułą. To nawyki, a sporu rozstrzygniętego nawykiem nie da się później sprawdzić. Rozwiązaniem nie jest mądrzejszy planista. Są nim raporty, które niosą to, na czym się opierają.

Jak spory idą źle

Głosowanie. Zapytać trzech agentów, wziąć dwa z trzech. Wygląda uczciwie i nic z tego. Trzy instancje jednego modelu mają jeden zestaw ślepych plamek, więc głosowanie mierzy, w którą stronę model się przechyla, a nie co jest prawdą. Kosztuje też trzy razy tyle pracy, by dać odpowiedź nie lepiej uzasadnioną niż jedna.

Wygrywa pewniejszy. Raport, który mówi „wyraźnie” i „potwierdzone”, wygrywa z raportem, który mówi „dziennik sugeruje”. Ten ostrożny raport był tym staranniejszym. Nagradzanie tonu uczy rój, żeby przestał być ostrożny, czyli dokładnie złej lekcji.

Planista je scala. Mając „krótsza o paletę” i „przyszła w komplecie”, planista pisze „dostawa w zasadzie kompletna, możliwa drobna rozbieżność”. To nie jest uzgodnienie. To trzecie twierdzenie bez własnego dowodu, które do tego ukrywa, że spór w ogóle był.

Ostatni raport wygrywa. Kontekst planisty trzyma pierwszy raport, gdy przychodzi drugi, a drugi jest świeższy. Kolejność nadejścia staje się czynnikiem rozstrzygającym, choć nikt go nie wybrał.

Spór znika. Cokolwiek planista zdecyduje, przegrany raport jest porzucany, a plan pokazuje jeden ptaszek. Miesiąc później okazuje się, że faktura była zła, i nie ma śladu, że jeden agent mówił to już wtedy.

Co rój powinien zrobić zamiast tego

W naszym projekcie spór jest sprawą do rozstrzygnięcia według procedury, a nie niezgodą do wygładzenia.

Każde twierdzenie niesie swój dowód. Raport podagenta to nie tylko wniosek, ale materiał, na którym się opiera: który plik, które wiersze, które wyjście narzędzia, uzyskane w którym kroku. Pierwszy agent wskazuje dokument dostawy. Drugi wskazuje wpis w dzienniku magazynu. Teraz planista porównuje dwa dokumenty, a nie dwa głosy. Raport bez dołączonego dowodu wraca jako niekompletny, a nie jest ważony.

Weryfikator z narzędziami, nie trzecia opinia. Gdy dwa udowodnione twierdzenia są sprzeczne, planista nie pyta trzeciego agenta, co o tym sądzi. Uruchamia podagenta weryfikującego z wąskim zadaniem: oto dwa twierdzenia i ich źródła, ustal, które źródło jest błędne. Dostaje narzędzia do otwarcia obu dokumentów i tylko tyle. Praca weryfikatora to ustalenie dotyczące dowodów, a nie głos w sprawie wniosku.

Równe dowody idą w górę, nie w bok. Czasem weryfikator wraca i mówi, że oba źródła są wewnętrznie spójne i po prostu się różnią: dokument dostawy i dziennik magazynu wypełniały różne osoby. Tego problemu rój nie rozwiąże, wydając więcej mocy obliczeniowej. Punkt dostaje oznaczenie „sporny” i trafia do KyberBota, który pyta Ciebie, kładąc oba dowody obok siebie. Rój czeka. Nie zgaduje.

Zapis pokazuje spór. Wszystko trafia do zapisu przebiegu: oba raporty, dowody dołączone do każdego, zadanie weryfikatora i jego ustalenie, a potem albo reguła, która rozstrzygnęła sprawę, albo pytanie, które poszło do Ciebie, i odpowiedź, która wróciła. Plan pokazuje punkt jako rozstrzygnięty, ze wskazaniem jak. Miesiąc później, gdy sprawa faktury wraca, przegrany raport nadal tam jest, razem z powodem, dla którego przegrał.

Każda strona w swojej celi. Dwaj podagenci i weryfikator działają każdy we własnej celi KyberCell. Weryfikatora nie może zmylić brudnopis pierwszego agenta, bo nigdy go nie widzi. Widzi dowody, które zostały formalnie dołączone, i o to chodzi.

Granica, powiedziana wprost: to projekt, który budujemy, a nie wydana funkcja, i nie sprawia on, że rój ma rację. Weryfikator może się pomylić co do tego, któremu źródłu ufać. Procedura gwarantuje coś węższego i bardziej użytecznego: spór nigdy nie jest rozstrzygany tonem, kolejnością ani milczeniem, i zawsze widać, jak został rozstrzygnięty.

Test, który możesz zrobić dziś

Zadaj agentowi, którego już używasz, to samo pytanie o fakt dwa razy, lekko inaczej sformułowane, w dwóch osobnych sesjach. Wybierz pytanie, na które odpowiedź leży w Twoich własnych dokumentach, tam gdzie dwa źródła mogą się rozsądnie różnić: data, ilość, nazwisko.

Jeśli obie odpowiedzi się zgadzają, próbuj dalej, aż przestaną; na prawdziwych dokumentach nie potrwa to długo. Potem poproś trzecią sesję o rozstrzygnięcie między dwiema odpowiedziami.

Przyjrzyj się temu, co wróci. Jeśli mówi, która z dwóch jest prawidłowa, nie wskazując źródła, które to rozstrzyga, masz głosowanie przebrane za werdykt. Jeśli wskazuje źródło, masz początek reguły, a reszta reguły to decyzja, co się dzieje, gdy źródła są równe. O tej decyzji i o budżecie, który ogranicza, ile rój może wydać, zanim ją podejmie, mówi tekst kiedy rój ma przestać. Jak planista, cele i KyberBot układają się w całość, pokazuje strona główna KyberAgent.