Nie da się audytować tego, czego nie da się przeczytać

Agent osobisty czyta Twoją pocztę, kalendarz, dokumenty i relacje, a potem działa na nich, gdy nie patrzysz. To większy dostęp niż ma jakiekolwiek inne oprogramowanie, które uruchamiasz, i większy niż ma większość ludzi, których znasz. Uruchamianie tego jako czarnej skrzynki jest dziwną decyzją, która wygląda normalnie tylko dlatego, że przyzwyczailiśmy się do niej wszędzie indziej.

Czego naprawdę wymaga od Ciebie „zaufaj dostawcy”

Każdy zamknięty produkt AI dla osób prywatnych prosi, żebyś przyjął cztery rzeczy, których nie możesz zweryfikować.

Że dane zostają tam, gdzie mówi polityka. Że model robi to, co mówi marketing. Że granice opisane w dokumentacji są granicami w kodzie. I że wszystko to pozostanie prawdą przez przejęcia, aktualizacje polityk i zmianę regulaminu, którą zaakceptujesz, nie odpowiadając na maila.

Żadne z tych założeń nie jest nierozsądne wobec dostawcy czegoś peryferyjnego. Wszystkie są nierozsądne wobec oprogramowania, które wie, co powiedział Twój lekarz.

Trzy rzeczy, które muszą być do przeczytania

Open source to nie odznaka licencyjna; dla agenta oznacza, że trzy konkretne artefakty da się obejrzeć.

Warstwa polityk. Co agent może sam, co wymaga potwierdzenia, czego nie wolno. Jeśli tego nie da się przeczytać, każde zapewnienie o bezpieczeństwie jest zapewnieniem marketingowym.

Wiedza. Ontologia i graf — w co wierzy i skąd wzięło się każde przekonanie. Powinieneś móc zobaczyć, co Twój agent sądzi o Twojej rodzinie, i usunąć węzeł.

Pętla. Co uruchamia agenta, co robi bez pytania, co zapisuje. Części działające, gdy nikt nie patrzy, są dokładnie tymi, które muszą być czytelne.

Wagi modelu to osobne pytanie. Uruchamianie otwartych wag lokalnie jest lepsze, a czasem będziesz chciał modelu z czołówki do konkretnego zadania. To broniący się kompromis, dopóki to warstwa polityk decyduje, co może opuścić maszynę — co znów sprowadza się do tego, że ta warstwa musi być czytelna.

Open source to nie to samo co godny zaufania

Warto powiedzieć wprost, bo ten argument bywa przesadzony. Opublikowany kod nie znaczy kod zaudytowany, większość użytkowników nigdy nie przeczyta ani linijki, a „wiele par oczu” jest raczej optymistyczną teorią niż gwarancją.

To, co open source realnie daje, jest węższe i wciąż rozstrzygające: możliwość weryfikacji, fork, gdy zmienią się motywacje projektu, i brak uprzywilejowanej pozycji dostawcy. W połączeniu z lokalnym uruchomieniem daje jeszcze coś, czego hostowany produkt nie da — możliwość odcięcia go od sieci i sprawdzenia, co przestanie działać. Ten jeden test mówi więcej niż jakakolwiek polityka prywatności.

Argument z motywacji

Najgłębszy powód nie jest techniczny. Hostowany agent osobisty ma model biznesowy, a każdy model biznesowy tworzy presję na to, co agent robi z tym, co wie: zaangażowanie, reklama, dane jako aktywo w kolejnej rundzie finansowania.

Agent, którego uruchamiasz sam, nie ma takiej presji, bo nikt na nim nie zarabia w trakcie działania. Jego motywacje są Twoje z konstrukcji, a nie z obietnicy. To jest cały argument — i powód, dla którego ten projekt jest open source, a nie produktem z komponentem open source.

Do czego się zobowiązujemy

Kod, ontologia i specyfikacja polityk opublikowane razem — bo silnik polityk, którego nie da się przeczytać, jest dekoracją, a model wiedzy, którego nie da się obejrzeć, jest czarną skrzynką z dodatkowymi krokami.

Repozytorium otworzy się, gdy będzie w nim coś wartego przeczytania. Do tego czasu argumentem jest ten blog — i on też ma być sprawdzalny.