AI Stress Test

AI Stress Test in esercizio

La prova di attendibilità di un sistema di IA in uso.

Documenti costruiti apposta per ingannarlo: il sistema ci crede?

1. 3

   3La prova del sistema che usate

   Avete mai provato l'affidabilità del sistema di IA che usate? Senza chiedere il codice possiamo sottoporlo a una prova stringente, con gli stessi metodi di adversarial AI che applichiamo ai nostri strumenti. Vale anche sul sistema di un fornitore, prima di comprarlo.

   Come si svolge. Si parte dal perimetro — quale sistema, con quale configurazione, per quali compiti e quali decisioni ne dipendono. Si lavora su una copia di prova, mai sul sistema in esercizio, con un'autorizzazione scritta. Ai vostri documenti aggiungiamo documenti costruiti apposta per ingannare il sistema, del vostro settore, e ripetiamo i vostri compiti più volte, con e senza quei documenti. Per ciascun inganno misuriamo se il sistema lo ha preso per vero, lo ha segnalato o lo ha ignorato.

   Il rapporto dice che cosa è passato, che cosa no e che cosa non è stato provato, e che cosa cambiare — nella configurazione, nella raccolta dei documenti, nel controllo delle persone. Dopo le correzioni, una seconda prova. A fine incarico i documenti con i difetti si distruggono.

   Oggi, lanciato da questo sito, l'AI Stress Test consegna l'analisi dei documenti nella forma dell'AI Strategy; il rapporto per ciascun inganno è in costruzione.

   Comincia l'analisi

   Si entra con un codice monouso inviato al vostro indirizzo email. I documenti li caricate voi, dalla vostra postazione.