AI asistent nad firemnými dokumentmi: čo musí vedieť okrem odpovede?

Vyberte jednu opakovanú otázku

Vhodný prvý pilot môže pomáhať kolegom nájsť postup reklamácie alebo aktuálny návod k produktu. Zadanie „asistent, ktorý pozná celú firmu“ sa ťažko testuje. Pri úzkej téme viete určiť správne podklady, typických používateľov aj prípady, pri ktorých má systém prestať odpovedať.

Spíšte otázky, ktoré ľudia skutočne kladú, a ku každej očakávaný podklad. Zahrňte aj otázky bez odpovede, nepresné názvy produktov a staré verzie postupov. Tieto situácie odhalia viac než samotná ukážka jednej vydarenej odpovede.

Dokument sa najprv musí nájsť

Pri prístupe označovanom RAG systém vyhľadá relevantné časti dokumentov a poskytne ich modelu ako podklad na odpoveď. Ide o prepojenie vyhľadávania s generovaním. Kvalita výsledku preto závisí aj od toho, či systém našiel správny dokument a správnu časť.

Odkaz na zdroj umožňuje človeku odpoveď skontrolovať. Sám osebe však nedokazuje, že tvrdenie zo zdroja vyplýva. Pri teste porovnajte konkrétnu vetu odpovede s citovaným odsekom. Samostatne sledujte chybné vyhľadanie a chybné vysvetlenie správneho podkladu.

Prístupové práva patria pred odpoveď

Asistent pre obchodníka nemusí mať prístup k mzdám alebo ku všetkým klientskym zmluvám. Odporúčame navrhnúť filtrovanie dokumentov podľa oprávnení používateľa už pri vyhľadávaní. Zákaz v texte inštrukcie nenahrádza kontrolu prístupu k dátam.

Každý dokument potrebuje vlastníka, platnú verziu a pravidlá vyradenia. Pri aktualizácii či odobratí prístupu treba preveriť aj vyhľadávací index a uložené odpovede. Pre pilot použite obmedzenú sadu schválených podkladov; citlivé údaje nepridávajte len preto, aby demo pôsobilo realistickejšie.

Otestujte aj odpoveď „neviem“

Modelová situácia: kolega sa pýta na výnimku zo záruky, ktorú dokumentácia nespomína. Prijateľným výsledkom je pomenovanie chýbajúceho podkladu a kontakt na zodpovedného človeka. Plynulá, ale vymyslená podmienka je chyba.

Vytvorte skúšobnú sadu otázok a odpovede kontrolujte podľa rovnakých kritérií. Evidujte správnosť, oporu v zdroji, aktuálnosť a rešpektovanie prístupov. Aj malý pilot potrebuje niekoho, kto prijíma hlásenia chýb a rozhoduje o opravách.

• Bežná otázka má odpoveď s konkrétnym zdrojom.
• Neznáma otázka nevyvolá vymyslené pravidlo.
• Zastaraný dokument sa nepoužije ako platný.
• Používateľ neuvidí informácie mimo svojich oprávnení.
• Pokyn vložený v dokumente nezmení pravidlá asistenta.

Najprv pomoc s odpoveďou, potom ďalšie kroky

Prvý pilot by podľa nás mal vyhľadávať a pripravovať odpovede. Odosielanie správ, zmeny cien alebo úpravy záznamov sú ďalší rozsah, ktorý potrebuje samostatné pravidlá a kontrolu. Rozhodnutie rozšíriť pilot postavte na výsledkoch testov a skúsenosti konkrétnych používateľov.

Prínos porovnávajte s pôvodným postupom: koľko času zaberie nájsť a overiť odpoveď, koľko odpovedí treba opraviť a koľko otázok sa musí odovzdať človeku. Tento článok je návrh postupu; nepredstavuje výsledky nasadeného AI asistenta u klienta Appy.