Dlaczego agent potrzebuje ontologii, a nie większego okna kontekstu

Za każdym razem, gdy okna kontekstu się wydłużają, ktoś ogłasza, że problem pamięci został rozwiązany. Nie został, a powód jest strukturalny, nie techniczny: dłuższe okno pozwala agentowi przeczytać więcej, a przeczytanie większej ilości to nie to samo co wiedza. Sterta fragmentów nie ma kształtu, z którym można skonfrontować twierdzenie, nie daje sposobu na prześledzenie, skąd wzięło się przekonanie, i nie ma mechanizmu zauważania, że dwa jej własne fakty się kłócą.

Co naprawdę daje wyszukiwanie

Wyszukiwanie wspomagające generowanie to dobra technika i rozwiązuje realny problem: podstawia modelowi właściwy tekst we właściwym momencie. Do odpowiadania na pytania o dokumenty często wystarcza.

Dla agenta, który działa, zostawia trzy luki.

Brak tożsamości. „Acme Sp. z o.o.” w jednym dokumencie i „ACME” w drugim to dwa ciągi znaków. Nic w indeksie wektorowym nie wie, że to ten sam klient, więc agent rozumuje o połowie relacji naraz.

Brak pochodzenia, z którym da się coś zrobić. Model potrafi zacytować fragment, ale nie usuniesz jednego błędnego faktu. Możesz usunąć dokument i mieć nadzieję, że przekonanie, które z niego powstało, zniknie razem z nim.

Brak sprzeczności. Dwa fragmenty niezgodne co do terminu dostawy dają płynną średnią. Nic w tej architekturze nie traktuje niezgody jako informacji.

Co dokłada ontologia

Ontologia nie jest ćwiczeniem z filozofii. To deklaracja rodzajów rzeczy w Twoim świecie i tego, jak mogą się do siebie odnosić: klient, zobowiązanie, dokument, termin — i fakt, że zobowiązanie ma dokładnie jednego właściciela i co najmniej jeden termin.

Wynikają z tego natychmiast trzy rzeczy.

Pytania stają się odpowiadalne. „Które zobowiązania wobec tego klienta są zagrożone?” to przejście po grafie, a nie wyszukiwanie. Agent idzie po relacjach, zamiast liczyć na to, że wyszukiwarka zwróciła właściwy akapit.

Fakty zyskują tożsamość. Klient jest jednym węzłem, niezależnie od tego, na ile sposobów zapisano jego nazwę. Wszystko podpina się do tego węzła — i dlatego wiedza się kumuluje, zamiast piętrzyć.

Błąd staje się lokalny. Zły fakt to jedna krawędź. Usuwasz ją, reszta stoi. Porównaj to z poprawianiem przekonania, które mieszka — niejawnie — w streszczeniu napisanym sześć tygodni temu.

Graf jest tym, gdzie naprawdę mieszka pamięć agenta

Ontologia mówi, jakie rodzaje rzeczy istnieją. Graf trzyma instancje — tego klienta, tamto zobowiązanie, ten dokument — z krawędziami między nimi i, co kluczowe, z pochodzeniem przy każdej krawędzi: co tak powiedziało, kiedy i z jaką pewnością.

Pochodzenie to część, którą większość projektów pomija, i część, która najbardziej liczy się w czymś działającym w Twoim imieniu. To ona pozwala agentowi odpowiedzieć na pytanie „dlaczego tak sądzisz”, a Tobie poprawić go precyzyjnie, zamiast przetrenowywać asystenta rozmową.

Uczciwy zarzut

Ontologie mają złą reputację, zapracowaną w latach, gdy zbudowanie jednej oznaczało komitet, rok pracy i dokument, którego nikt nie przeczytał. Ta porażka była prawdziwa.

Zmieniło się to, kto wykonuje robotę. Model potrafi zaproponować ontologię na podstawie Twoich realnych dokumentów, sugerować rozszerzenia, gdy trafi na coś, co nie pasuje, i oznaczać sprzeczności do rozstrzygnięcia przez człowieka. Schemat przestaje być dwuletnim projektem i staje się czymś, co rośnie w użyciu — pozostając zadeklarowanym, wersjonowanym i możliwym do obejrzenia, czyli dokładnie tym, co stare podejście robiło dobrze.

Jak to wygląda w praktyce

Agent nadal używa modelu językowego do wszystkiego, w czym modele są dobre: czytania niechlujnego tekstu, wyciągania struktury, redagowania, streszczania, oceny tonu. Zmienia się to, dokąd trafiają wyniki.

Zamiast streszczenia mieszkającego w logu rozmowy, ekstrakcja staje się węzłami i krawędziami z pochodzeniem. Zamiast kolejnego pytania czytającego wszystko od nowa — zapytanie. Zamiast wiedzy agenta będącej tym, co akurat mieści się dziś w oknie — graf, który możesz obejrzeć, poprawić, zarchiwizować i przenieść do dowolnego modelu, który pojawi się za trzy lata.

Okna kontekstu będą rosnąć i to naprawdę pomaga. Po prostu nie usuwa potrzeby, żeby agent wiedział, co wie.