Kilkanaście sesji AI naraz: jak nad tym zapanować

Po miesiącu pracy z asystentem AI okien terminala jest kilkanaście i nie wiadomo, która rozmowa czeka na decyzję. Opisujemy narzędzie, które zbudowaliśmy, żeby to uporządkować.

Punkt wyjścia: dwadzieścia dwa zapomniane procesy

W tle działały dwadzieścia dwa procesy, ponad pięć gigabajtów pamięci, część sprzed trzech tygodni. Żadne okno nie pokazywało, która rozmowa czeka na odpowiedź.

Co okazało się najważniejsze

1. Stan każdej rozmowy

Lista sesji: pracuje, czeka na decyzję albo gotowa. Do tego, co robi i od jak dawna.

2. Pytania, które blokują pracę

Jedenaście sesji stało na pytaniu, którego nikt nie zobaczył. Narzędzie odpowiada samo, a gdy decyzja wymaga człowieka, wysyła powiadomienie na telefon.

3. Koszty i limity na wierzchu

Koszt każdej rozmowy i ile zostało limitu. Przy okazji wyszło, że naiwne sumowanie zawyżało zużycie ponad dwukrotnie.

4. Zadania w tym samym miejscu

Zadanie przeciąga się na godzinę w kalendarzu albo wysyła prosto do sesji jako polecenie.

Co z tego wynika dla firm

Dziesięć automatyzacji bez jednego miejsca, w którym widać ich stan, koszt i błędy, to ten sam bałagan co dwadzieścia dwa okna terminala. Warstwa nadzoru jest częścią wdrożenia.

Najczęstsze pytania