Dwa raporty za ten sam miesiąc: 62 i 38 procent obsłużonych. Który licznik jest poprawny

Dwa zestawienia za ten sam wrzesień pokazują 62 i 38 procent obsłużonych automatycznie. Nikt nie pomylił się w arytmetyce. Pierwsze liczy rozmowy, po których klient nie odezwał się ponownie. Drugie tylko te, w których ktoś potwierdził, że odpowiedź faktycznie załatwiła sprawę.

Dopóki nie wiadomo, które z tych dwóch zdarzeń wchodzi do licznika, wskaźnik skuteczności agenta nie nadaje się ani do porównania z poprzednim miesiącem, ani do rozmowy z dostawcą o rachunku. Ten tekst jest o tym, jak ustawić definicję, jak ją zweryfikować drugim modelem i ile taka weryfikacja kosztuje.

Trzy różne zdarzenia pod jedną etykietą

Zendesk rozdzielił automatyczne rozwiązania na trzy poziomy i opisał je w dokumentacji poziomów automatycznych rozwiązań, wprowadzonej 18 maja 2026. Podział jest wart przeczytania nawet przy innym dostawcy, bo nazywa trzy sytuacje, które w większości wewnętrznych raportów siedzą pod jedną pozycją.

Środkowy wiersz jest tym, o który toczy się cały spór. Klient, który dostał bezużyteczną odpowiedź i poszedł załatwić rzecz telefonem, oraz klient, któremu agent faktycznie pomógł, zostawiają w systemie identyczny ślad: przestali pisać. Różnica między raportem na 62 i na 38 procent to zwykle właśnie ten wiersz, wliczony albo niewliczony.

Praktyczny wniosek jest jeden i nie wymaga żadnego narzędzia: w definicji wskaźnika trzeba zapisać, czy milczenie klienta liczy się za rozwiązanie, i tej decyzji nie zmieniać w trakcie okresu porównawczego. Zmiana definicji potrafi podnieść wynik bez żadnej zmiany w zachowaniu agenta, a po fakcie jest nie do odróżnienia od realnej poprawy.

Klient przestał pisać, to jeszcze nie potwierdzenie

Dostawcy, którzy biorą pieniądze za rozwiązanie, traktują tę granicę ostrożniej niż typowy raport wewnętrzny. Intercom rozdziela rozwiązanie potwierdzone, w którym klient odpowiada, że odpowiedź pomogła, od domniemanego, w którym klient po prostu wychodzi z rozmowy. W dokumentacji rozliczania rozwiązań Fin zastrzega dodatkowo, że jeśli klient wróci po pomoc, rozwiązanie zostaje odjęte – także w późniejszym okresie rozliczeniowym.

Dostawca cofa więc własną opłatę, bo wie, że zamknięcie bywa pozorne. Wewnętrzny raport takiej korekty zwykle nie robi i stąd bierze się rozjazd, w którym faktura maleje, a wskaźnik skuteczności rośnie.

Przeniesienie tej ostrożności do siebie sprowadza się do jednego parametru: okna karencji. Wynik za poniedziałek jest wstępny do czasu, aż upłynie ustalona liczba dni bez ponownego kontaktu w tej samej sprawie. Długości tego okna nie wolno przyjmować z sufitu – wyznacza się ją raz, z rozkładu opóźnień między zamknięciem a ponownym kontaktem, i wybiera moment, w którym ten rozkład się wypłaszcza. Wszystko, co raportowane przed upływem okna, musi być oznaczone jako wstępne.

Ustal mianownik, nie tylko licznik

Spór o definicję toczy się zwykle o to, co wchodzi do licznika, a przesunięcie mianownika zmienia wynik równie mocno i jest trudniejsze do zauważenia. Do mianownika trafia wszystko, co weszło kanałem – w tym rzeczy, które nigdy nie były zgłoszeniem.

Dostawcy wycinają część tego ruchu wprost. Intercom nie liczy rozwiązania, jeśli agent odpowiedział wyłącznie na powitanie, co wynika z tej samej dokumentacji rozliczania rozwiązań Fin. Logika jest prosta: wymiana grzecznościowa nie jest obsłużoną sprawą ani po stronie licznika, ani mianownika.

Cztery kategorie, które trzeba rozstrzygnąć raz i zapisać, bo każda potrafi przesunąć wynik o kilka punktów:

• Powitania i wiadomości bez treści. Poza mianownikiem. Inaczej agent zbiera darmowe punkty za odpowiadanie „dzień dobry”.
• Ruch testowy i wewnętrzny. Poza mianownikiem, z osobnym znacznikiem przy wejściu – po fakcie nie da się go odróżnić od prawdziwego.
• Spam i wiadomości automatyczne. Poza mianownikiem, ale liczone osobno: nagły wzrost tej kategorii zwykle oznacza awarię filtra, nie zmianę w zachowaniu klientów.
• Sprawy przekazane dalej od razu, bez próby obsługi. W mianowniku. To są sprawy, których agent nie obsłużył, i ich wyjęcie jest najczęstszym sposobem na sztuczne podniesienie wskaźnika.

Postaw drugi model na bramce

Rozdzielenie środkowego wiersza od dolnego wymaga kogoś, kto przeczyta rozmowę i oceni, czy problem został rozwiązany. Przy kilkuset sprawach miesięcznie robi to człowiek. Wyżej robi to drugi model, któremu podaje się zapis rozmowy i pyta o jedną rzecz: czy prośba klienta została załatwiona.

Kolejność zdarzeń w takim układzie jest stała:

1. Agent kończy rozmowę. Sprawa dostaje status wstępny, nie zamknięty.
2. Kontroler czyta zapis rozmowy. Osobne wywołanie, osobny prompt, bez dostępu do uzasadnień agenta – inaczej powiela jego błąd zamiast go wychwycić.
3. Kontroler zwraca werdykt i uzasadnienie. Uzasadnienie jest potrzebne nie do raportu, tylko do comiesięcznej kalibracji opisanej niżej.
4. Mija okno karencji. Zadanie uruchamiane raz dziennie przestawia status na ostateczny albo odnotowuje powrót klienta.
5. Dopiero teraz sprawa wchodzi do wskaźnika – z werdyktem kontrolera i informacją, czy klient wrócił.

Krok czwarty jest tym, którego brakuje najczęściej, i jedynym, który nie wymaga niczyjej pracy. Bez niego wskaźnik pokazuje stan sprzed karencji i zawsze wygląda lepiej, niż jest.

O co kontroler jest pytany, decyduje o tym, co zmierzy. Pytanie „czy odpowiedź jest dobra” sprawdza formę i prawie zawsze daje odpowiedź twierdzącą, bo odpowiedzi agenta są uprzejme i spójne. Pytanie, które mierzy obsługę, brzmi inaczej: czy to, o co klient prosił, zostało załatwione, i po czym to widać w zapisie rozmowy. Przy rozmowie zawierającej dwie prośby kontroler ma odpowiedzieć osobno o każdej, bo obsłużenie jednej z dwóch nie jest rozwiązaniem sprawy.

Skalibruj kontrolera, zanim mu uwierzysz

Kontroler jest tańszy od czytania wszystkiego przez człowieka, ale dopóki nikt nie sprawdził, jak się myli, jego werdykt jest kolejną liczbą bez pokrycia. Kalibracja wygląda tak samo co miesiąc i zajmuje jedno popołudnie.

Losowa próbka kilkudziesięciu zamkniętych spraw idzie do przeczytania przez człowieka, który ocenia je bez dostępu do werdyktu kontrolera. Z zestawienia obu ocen wychodzą dwie liczby, obie potrzebne i każda o czym innym:

• Sprawy przepuszczone mimo braku rozwiązania. Ta liczba zawyża skuteczność agenta i jest kosztem po stronie klienta, który odszedł bez pomocy.
• Sprawy odrzucone mimo poprawnej obsługi. Ta zaniża wynik i dodatkowo wysyła ludziom do przejrzenia rzeczy, które były w porządku.

Próbka losowana jest z całego miesiąca, nie z ostatniego tygodnia, i obejmuje także sprawy, które kontroler odrzucił – inaczej druga liczba nigdy się nie pojawi. Bez obu z nich nie wiadomo, w którą stronę przesunąć próg kontrolera, a przesuwanie go na wyczucie jest tym samym błędem, od którego zaczyna się ten tekst.

Ile kosztuje samo mierzenie

Weryfikacja jest osobną pozycją w rachunku i warto ją znać, zanim ktoś zaproponuje jej wyłączenie dla oszczędności. Poniższy rachunek to przykład z jawnie podanymi założeniami, nie pomiar z wdrożenia – własne liczby trzeba podstawić u siebie.

Założenia: 2000 spraw miesięcznie, jedno wywołanie kontrolera na sprawę, zapis rozmowy to około 3000 tokenów wejścia, werdykt z uzasadnieniem około 200 tokenów wyjścia. Stawki pochodzą z cennika modeli Anthropic: dla Claude Haiku 5.5 przy promptach poniżej 100 tysięcy tokenów jest to 0,10 USD za milion tokenów wejścia i 0,50 USD za milion wyjścia, dla Claude Sonnet 5.5 odpowiednio 2 i 10 USD.

Rachunek za tokeny kontrolera jest na tyle niski, że argument o oszczędności na weryfikacji nie ma pokrycia – kosztem jest kalibracja, czyli te kilka godzin czytania. To właśnie ta pozycja wypada pierwsza, gdy nikt nie ma jej wpisanej w obowiązki, i wtedy po kilku miesiącach zostaje kontroler, o którym nie wiadomo już, jak bardzo się myli. Firmy, które nie mają tego komu przypisać na stałe, oddają całość na zewnątrz razem z utrzymaniem – tak działają zespoły prowadzące agentów produkcyjnie, z kalibracją jako stałą pozycją w umowie, a nie przysługą.

Odłóż część ruchu na grupę kontrolną

Nawet poprawnie zdefiniowany i zweryfikowany wskaźnik nie odpowie na pytanie, ile zmienił sam agent. Wdrożenie prawie zawsze zbiega się z porządkowaniem bazy wiedzy i przepisaniem szablonów odpowiedzi, a ruch w obsłudze klienta jest sezonowy. Poprawa po takim zestawie zmian nie wskazuje na żadną z nich z osobna.

Rozstrzyga grupa kontrolna: ustalony odsetek spraw idzie ścieżką bez agenta przez cały okres pomiaru. Losowanie po identyfikatorze sprawy, nigdy po typie zgłoszenia – przy losowaniu po typie do kontroli trafią sprawy trudniejsze i porównanie wyjdzie na korzyść agenta bez względu na to, jak ten działa. Wskaźnik liczy się wtedy dwa razy, tą samą definicją, i porównuje różnicę zamiast wartości bezwzględnej.

Ta sama ostrożność obowiązuje przed rozszerzaniem wdrożenia na kolejne kanały. Pomiar przed dołożeniem mocy jest regułą ogólniejszą niż agenci – w warsztacie wygląda to tak, że wąskim gardłem okazuje się operator, a nie liczba maszyn, i dokupienie szóstej drukarki niczego nie przyspiesza. Rozszerzenie agenta na trzeci kanał przed zmierzeniem drugiego jest tym samym ruchem.

Co zapisać w definicji wskaźnika przed następnym raportem

Zanim powstanie kolejne zestawienie, cztery rzeczy muszą być zapisane w jednym miejscu i niezmieniane do końca okresu porównawczego. Czy milczenie klienta liczy się za rozwiązanie. Ile dni trwa okno karencji i skąd wzięła się ta liczba. Kto albo co wydaje werdykt o rozwiązaniu i kiedy ten werdykt był ostatnio kalibrowany. Jaki odsetek ruchu idzie bez agenta jako grupa kontrolna.

Jeśli którejkolwiek z tych czterech pozycji nie da się dziś wpisać, raport za ten miesiąc opisuje coś, czego nikt nie zdefiniował, i nie nadaje się do decyzji o rozszerzeniu wdrożenia. Uzupełnienie ich zajmuje jedno spotkanie i jedno zadanie w harmonogramie – znacznie mniej niż kwartał sporów o to, czy agent się opłaca.