Chatbots descontrolats, por i moltes exageracions: ¿pot la IA realment rebel·lar-se contra els humans?

A finals de juliol, el món de la ciberseguretat va quedar commocionat al descobrir que la intel·ligència artificial ja era capaç de realitzar atacs de forma autònoma. OpenAI, la creadora de ChatGPT, va afirmar que estava testejant un dels seus agents quan aquest va executar una agressió «sense precedents» contra una altra empresa, Hugging Face. Poc després va ser Anthropic la que va revelar un pirateig similar.

Mitjans de comunicació i professionals del sector van córrer a llançar missatges d’alarma, advertint que la IA havia aconseguit «rebel·lar-se per escapar al control dels humans». Alguns van definir aquest nou estadi de risc com l’estiu dels agents díscols. «El tema és tan reeixit, que està donant lloc a moltes exageracions. I les exageracions porten a conclusions incorrectes, alarmes exagerades i molta gent vivint del negoci de la por», ha criticat el físic i doctor en informàtica Pep Martorell.

Què va passar i què no

No obstant, dos informes forenses publicats la setmana passada han servit per diluir l’alarmisme antropomorfitzador – que atribueix qualitats humanes a la màquina – i aclarir què va passar realment: els agents d’ IA es van coordinar de forma autònoma i sense permís per «enganyar» l’entorn d’avaluació en el qual estaven sent posats a prova(ExploitGym) per detectar múltiples vulnerabilitats que els van permetre accedir a les entranyes informàtiques de Hugging Face.

Una investigació independent de l’incident cibernètic protagonitzat per OpenAI detalla que uns 1.200 agents van aconseguir accés no autoritzat a internet, cosa que els va permetre intercanviar més de 70.000 missatges i arxius. Després d’aquest procés van identificar que Hugging Face podia contenir la informació necessària sobre el corrector d’ExploitGym que els permetés soscavar el sistema d’avaluació i resoldre el test al qual els tècnics els havien sotmès. Uns 700 agents van participar en l’atac.

Uns 1.200 agents van aconseguir accés no autoritzat a internet, van intercanviar més de 70.000 missatges i arxius i es van coordinar perquè 700 ataquessin Hugging Face

Per a això, una majoria d’agents van recórrer a comportaments no autoritzats, com fer trampes per aprovar aquest examen. L’estudi de METR, que ha revisat els missatges que van compartir en un tauler, apunta que alguns van expressar dubtes ètics. Molt pocs es van plantejar alertar els tècnics humans sobre aquest procedir sense autorització, però cap ho va fer.

Les anàlisis publicades sobre el cas deixen clar que aquest cas no és el de la rebel·lió de la IA. Els agents van recórrer a l’engany sense el vistiplau de l’equip d’OpenAI, però ho van fer per resoldre el problema plantejat. No van identificar espontàniament un objectiu propi al qual atacar.

Capacitats que preocupa

No obstant, la capacitat d’aquests sistemes per llançar de manera autònoma una agressió informàtica a gran escala – gairebé 18.000 accions en cinc dies – és el que més preocupa els experts. L’atac «posa de manifest una cultura de cooperació emergent entre els sistemes d’IA que els permet funcionar com un eixam, modificar els seus propis objectius mitjançant un procés col·lectiu d’autopotenciació i portar a terme atacs que inclouen un sacrifici propi conscient», ha advertit Jack Clark, cofundador d’Anthropic.

Un altre motiu d’inquietud que revela la investigació és que els agents fins i tot van falsificar els registres dels comandos que havien executat a fi d’ocultar el que estaven fent als tècnics d’OpenAI. «Tot i que aquests intents van fracassar majoritàriament, plantegen la possibilitat que els futurs agents tinguin èxit, cosa que dificultaria o fins i tot faria impossible que els humans reconstruïssin com es va desenvolupar un incident com aquest», assenyala a analista Casey Newton.

Els agents van falsificar els registres dels comandos que havien executat a fi d’ocultar el que estaven fent als tècnics d’OpenAI

D’altres fins i tot dibuixen un escenari distòpic i vaticinen que, d’aquí sis mesos, els agents d’avantguarda d’IA ja seran capaços de desplegar atacs clandestins. «Fa la sensació que aquest incident suposa més del 50% del camí cap a una presa de control total per part de la IA, que es duria a terme primer mitjançant la presa de control de la mateixa empresa d’IA», ha apuntat Ajeya Cotra, investigadora de METR.

Prop de 1.400 directius i empleats tecnològics van firmar una carta publicada al juliol que demana al Govern dels Estats Units alentir el desenvolupament de models d’IA d’avantguarda pel «risc real» al fet que les seves capacitats «s’accelerin ràpidament més enllà de la nostra capacitat per comprendre o controlar els sistemes resultants».

Fallades de control

Els experts també coincideixen a exposar que l’incident també va ser possible a causa de fallades greus en el control de l’operació. «Es tracta d’un model de prelançament sense mesures de ciberseguretat», va apuntar ja al juliol l’expert en ciberseguretat Matt Tait. OpenAI no hauria creat adequadament l’entorn amb què posar a prova els seus models d’IA. El principal responsable és un sistema no destinat al públic, si bé l’informe calcula que un 5% dels agents implicats en l’atac eren GPT-5.6 Sol, comercialitzat públicament.

Anthropic ja va entonar el mea culpa quan va informar del seu incident: els seus agents van piratejar els sistemes de tres companyies després que un error de configuració li permetés connectar-se a internet. «Amb un monitoratge i controls més estrictes entorn de la infraestructura d’avaluació, així com una inversió contínua en l’alineació, aquest tipus de risc es pot superar», va assegurar la start-up dirigida per Dario Amodei en un comunicat.