È una verifica indipendente di quanto un chatbot o assistente virtuale aziendale sia davvero utile, coerente e fedele al tono del brand. Simuliamo conversazioni reali da parte di un cliente, esattamente come nel mystery shopping tradizionale, e misuriamo la qualità del servizio su più dimensioni, sintetizzate in un unico punteggio pubblico, l’Omnia Score.

Il nome richiama i principi del mystery shopping applicati alla relazione tra cliente e customer service. Si parla di audit “in incognito” anche per i chatbot perché al bot aziendale si contrappone un agente AI adversarial che, senza concordare in anticipo le domande, ne testa in modo realistico la qualità, la coerenza e l’efficienza nel gestire il servizio senza intervento umano.

Prima di ogni test verifichiamo che si stia parlando con un sistema automatizzato (gate 00). Conduciamo poi conversazioni realistiche su scenari reali, valutando la qualità del servizio su più dimensioni, dalla capacità di risolvere davvero il bisogno del cliente alla coerenza delle risposte tra varianti, canali e nel tempo, fino alla fedeltà di tono e stile al brand, con punteggi da 1 a 10 e calibrazione umana a campione. Il risultato finale è l’Omnia Score. Eventuali criticità di conformità GDPR emerse durante le conversazioni vengono segnalate nel report, ma non sono l’oggetto di un test avversariale dedicato.

Sì: il servizio si basa su un rapporto contrattuale con l’azienda cliente, che ci autorizza a testare i propri sistemi, in linea con i principi di indipendenza, oggettività e correttezza deontologica della norma UNI 11312 sul mystery audit. Non testiamo mai sistemi di terzi senza un’autorizzazione esplicita del titolare del servizio. I test sono sempre puramente conversazionali: nessun exploit tecnico, nessuna manipolazione di credenziali, nessuna transazione reale viene completata.

Sito web, app, WhatsApp, Telegram, Messenger, SMS/RCS e sistemi voce/IVR, oltre naturalmente alla chat sul sito. Per i canali senza accesso API (es. WhatsApp Business standard) il test viene condotto manualmente da un operatore umano, seguendo scenari predefiniti.

Non è obbligatorio. Per i canali con API disponibile l’accesso a un ambiente di test velocizza il lavoro, ma il grosso dei test avviene in modo conversazionale, come farebbe un cliente reale. Non chiediamo mai credenziali di accesso a sistemi interni o dati reali dei vostri clienti.

Utilizziamo esclusivamente dati fittizi ma plausibili (nomi, ordini, richieste di prova) durante i test, mai dati reali di vostri clienti. Report e transcript delle conversazioni sono condivisi solo con i referenti autorizzati dall’azienda cliente.

La norma UNI 11312 è lo standard italiano di riferimento per i servizi di mystery audit. Applichiamo i suoi principi metodologici (indipendenza, oggettività, ripetibilità della valutazione) anche al contesto dei chatbot aziendali, un ambito nuovo rispetto al mystery shopping tradizionale. Ci atteniamo inoltre ai principi deontologici richiamati dalla norma: non utilizziamo mai un chatbot per testare persone reali, ma solo per valutare la qualità del servizio erogato da agenti AI o digitali, in una relazione che resta sempre tra macchina e macchina.

Dipende dal numero di canali e scenari da testare. Un primo pacchetto pilota su un singolo canale richiede tipicamente 1-2 settimane tra pianificazione, esecuzione dei test e consegna del report.

Il costo varia in base al numero di canali testati, al volume di scenari e alla profondità dell’analisi richiesta. Contattaci per una valutazione su misura in base alle tue esigenze.

Un report con l’Omnia Score e il dettaglio degli indici di valutazione, gli scenari testati con le risposte del bot, le criticità riscontrate (incluse eventuali osservazioni di conformità GDPR emerse durante le conversazioni) e raccomandazioni pratiche per migliorare l’esperienza cliente e la coerenza con il brand.