Eno je opazovati, kako se umetna inteligenca uporablja. Povsem drugo pa je razumeti, kdaj začne predstavljati resnično tveganje. Na žalost mnoge organizacije niso sposobne presoditi, kaj je varno in kaj predstavlja tveganje, ko gre za uporabo umetne inteligence v njihovem lastnem okolju.
Kdaj uporaba umetne inteligence postane tveganje in kako to pravočasno prepoznati
V našem prvem članku smo se osredotočili na odkrivanje in pridobivanje vpogleda v to, kako se umetna inteligenca dejansko uporablja v organizaciji. To je ključen prvi korak, vendar ni dovolj.
Opaziti uporabo umetne inteligence je ena stvar. Razumeti, kdaj postane tvegana, pa je nekaj povsem drugega.
Naslednji korak na tej poti je zaznava, tj. sposobnost prepoznati, kdaj uporaba umetne inteligence prestopi mejo med legitimno in tvegano, zakaj se to zgodi in kaj je treba obravnavati. Tu se mnoge organizacije zataknejo. Vidijo uporabo, vendar jim manjka kontekst, potreben za ugotavljanje, kaj je varno in kaj je problematično.
Umetna inteligenca (AI) prinaša tveganja, ki ne ustrezajo tradicionalnim varnostnim modelom
Tradicionalna varnost temelji na jasnih kategorijah, kot so ranljivosti, napačne nastavitve, šibek nadzor dostopa in zlonamerna koda; umetna inteligenca pa deluje drugače. Njena tveganja ne izhajajo izključno iz infrastrukture. Pojavljajo se v vsebini, odločitvah in vedenju ter se kažejo v sami interakciji, ne le v okoliškem sistemu. V praksi to pomeni, da morajo organizacije upravljati dve vzporedni področji tveganj.
Tveganja, povezana s tem, kaj ustvari umetna inteligenca in kako se uporablja
- Halucinacije in napačni odgovori, ki se zdijo verodostojni.
- Pristranskost umetne inteligence in napačne odločitve v postopkih, kot so izbor ali ocenjevanje.
- Škodljiva ali neprimerna vsebina.
- Priporočila, ki posel, varnost ali skladnost usmerjajo v napačno smer.
- Neželeno ali stroškovno obremenjujoče uporabljanje.
Tveganja, povezana z možnostmi zlorabe ali manipulacije umetne inteligence
- Vnašanje ukazov prek vprašanj in posrednih navodil, vgrajenih v podatke ali vsebino.
- Izčrpavanje podatkov prek vprašanj, konteksta ali odgovorov.
- Poskusi pridobivanja sistemskih navodil ali meta-vprašanj.
- Onesnaževanje podatkov med usposabljanjem ali posodabljanjem podatkovnih baz.
Mnoga od teh tveganj ne izgledajo kot očitni incidenti. So postopna, odvisna od konteksta in pogosto kasneje pokažejo svoj vpliv.
Ocena tveganja potrebuje kontekst
Tveganj, povezanih z umetno inteligenco, ni mogoče ocenjevati zgolj na podlagi posameznih podatkovnih točk ali prometa v omrežju.
Da bi lahko organizacije opravile utemeljene ocene, morajo razumeti:
- kdo ali kaj komunicira z umetno inteligenco,
- kateri model ali storitev se uporablja,
- kakšne vrste podatkov se posredujejo,
- v kakšnem kontekstu poteka uporaba, in
- kaj umetna inteligenca dejansko proizvaja ali počne.
Brez tega konteksta postane ocena tveganja bodisi preveč splošna bodisi preprosto napačna. Vse se zdi nevarno, ali pa se pravi problemi spregledajo.
Dve sposobnosti, ki skupaj omogočata razumevanje
1. Neprekinjena analiza uporabe AI
Prva zmogljivost je sposobnost neprekinjenega spremljanja, kako se umetna inteligenca uporablja v praksi. Cilj ni pregledati vsako ukazno vrstico, temveč razumeti vzorce, odstopanja in spremembe skozi čas.
To omogoča:
- Prepoznavanje vzorcev uporabe, ki povečujejo tveganje.
- Razlikovanje med normalnim vedenjem in odstopanji.
- Spremljanje, kako se vedenje spreminja ob uvajanju novih storitev umetne inteligence.
Ta analiza temelji na pregledu podatkov iz brskalnikov, omrežij, klicev API-jev in dnevniških zapisov, povezanih z identiteto in vlogo.
2. Aktivno preverjanje tveganj umetne inteligence z uporabo umetne inteligence
Druga zmogljivost je aktivno testiranje sistemov umetne inteligence. Tradicionalno testiranje “Red Teaming” se za umetno inteligenco ne prilagaja dobro, saj so testi ročni, razdrobljeni in hitro zastareli. Sistemi umetne inteligence se preprosto razvijajo prehitro.
Testiranje “AI Red Teaming” uporablja avtomatizirano testiranje, pri katerem so modeli, aplikacije in agenti umetne inteligence izpostavljeni širokemu spektru scenarijev napadov in zlorab. Namen tega je preveriti tako tveganja, povezana z vsebino, kot tudi varnostna tveganja, in sicer na podlagi dejanske uporabe umetne inteligence.
To omogoča:
- Prepoznavanje dejanskih ranljivosti namesto teoretičnih.
- Razumevanje resnosti tveganj v praksi.
- Določanje prednostnih nalog za zaščito, ki je resnično pomembna.
Tukaj se AI uporablja za testiranje AI v obsegu, ki je nujen za ohranjanje tempa.
Ko umetna inteligenca deluje brez človeškega posredovanja
Ocena tveganja mora delovati tudi takrat, ko v proces ni vključen noben posameznik.
Ko se umetna inteligenca uporablja prek vmesnikov API, avtomatiziranih delovnih tokov ali agentov umetne inteligence, morajo organizacije imeti možnost spremljati:
- kako se podatki uporabljajo med sklepanjem;
- katere zunanje storitve se uporabljajo;
- kako se vedenje spreminja s časom;
- ali odločitve oz. ukrepi odstopajo od pričakovanj.
Ker agenti umetne inteligence pridobivajo vse večjo avtonomijo, to postaja temeljna zahteva za upravljanje.
Od vidljivosti do zaščite brez ugibanja
Organizacije, ki preidejo neposredno od pregleda k blokiranju, pogosto ponavljajo iste napake: Preprečijo zakonito uporabo, spregledajo resnična tveganja in uvedejo zaščitne ukrepe, ki ne dosegajo želenega učinka. Z ustreznim pregledom pa se odpravijo ugibanja in je mogoče prave zaščitne ukrepe uvesti na pravem mestu.
Ko je mogoče tveganja identificirati in potrditi, postane mogoče:
- Ločiti tveganja z nizko stopnjo tveganja od tistih z visoko stopnjo tveganja.
- Omogočiti uporabo umetne inteligence tam, kjer ustvarja vrednost.
- Usmeriti zaščitne ukrepe tja, kjer so resnično nujni.
Organizacije brez zaznavanja ugibajo.
Organizacije z zaznavanjem določajo prioritete.
Naslednji korak: Zaščita
V naslednjem članku bomo obravnavali, kako vzpostaviti zaščitne mehanizme, tako s tehničnega kot organizacijskega vidika, na podlagi sedaj razkrite slike tveganj. Brez tega koraka zaščita ostaja zgolj ugibanje. Z njim pa postane sorazmerna, utemeljena in trajnostna.