OpenAI assegura que la seva IA es va descontrolar i va atacar de manera autònoma una altra empresa

La intel·ligència artificial té implicacions cada vegada més perilloses per a la ciberseguretat.OpenAI, la creadora de ChatGPT, ha anunciat que un dels seus models encara no publicats es va descontrolar i va realitzar un atac «sense precedents» contra Hugging Face, una altra empresa d’IA.

La start-up dirigida per Sam Altman estava posant a prova les capacitats de dos dels seus sistemes més avançats, ChatGPT Sol 5.6 i un altre encara no obert al públic. Els enginyers van crear un agent autònom i li van assignar una missió complexa: connectar vulnerabilitats informàtiques i aprofitar-les en un ciberatac exitós.

Tot i que el van testejar en un «entorn altament aïllat», l’agent va esquivar pel seu compte les mesures de control i contenció, va accedir a internet i va piratejar Hugging Face. Va triar aquest objectiu perquè va deduir que la biblioteca de milions de models oberts d’IA que té la companyia era el lloc més probable on podria trobar la manera de superar l’avaluació.

«Incident sense precedents»

En un comunicat corporatiu, OpenAI ha descrit aquest episodi com «un incident cibernètic sense precedents, en el qual es van utilitzar capacitats cibernètiques d’última generació». Quan la setmana passada va detectar la seva bretxa, Hugging Face va assegurar que «era diferent de tot el que havíem gestionat abans», ja que «va ser impulsada, de principi a final, per un sistema autònom d’agents d’IA».

En els últims mesos, tant la creadora de ChatGPT com Anthropic han dissenyat models d’IA especialitzats a exposar problemes de ciberseguretat, detectar bretxes i explotar-les abans que les seves víctimes puguin apedaçar-les. Alguns, com ChatGPT Sol 5.6 i Fable 5, han sigut oberts comercialment al gran públic, mentre que d’altres, com Claude Mythos, es mantenen amb l’accés tancat o limitat pel Govern dels Estats Units. Les dues start-ups es preparen per sortir a borsa.

Expertes en seguretat de la IA han qüestionat la qualitat del test a què OpenAI va sotmetre el seu model. «Em sembla que OpenAI no va crear adequadament un entorn de proves tipus sandbox», ha valorat Dierdre Mulligan, professora de la Facultat d’Informació de la Universitat de Califòrnia a Berkeley, en declaracions a The New York Times.

IA contra IA

La fuga autònoma de la IA no és l’únic tema que ha cridat l’atenció d’aquest cas. I és que Hugging Face ha explicat que va recórrer a GLM 5.2, un potent model obert de l’empresa xinesa Z.ai ,per detectar i mitigar l’atac d’OpenAI. El seu equip de seguretat es va decantar per una solució xinesa després de provar un model d’IA nord-americana i veure que no podia utilitzar-lo per restriccions que fan que «no puguin distingir entre un responsable de la resposta a incidents i un atacant».

«Aquest incident, possiblement el primer d’aquest tipus, confirma alguna cosa en el que portem molt temps creient: la seguretat de la IA no es resoldrà si una sola empresa treballa en secret», ha remarcat Clem Delangue, director executiu de Hugging Face.