D'un temps ençà que només es parla dels algoritmes. Algoritmes en la conducció de vehicles no tripulats, en la detecció de càncers, en el reconeixement facial, o fins i tot en la preparació i resolució de litigis judicials. Es diu que aquests nous protagonistes digitals permeten de mecanitzar moltes operacions de la nostra vida quotidiana i que el seu ús anirà previsiblement a més. Amb el desenvolupament de la intel·ligència artificial (IA), aniran jugant un paper cada vegada major, sense que necessàriament en siguem conscients. La Comissió Europea anunciava recentment que espera invertir 20.000 milions d'euros en IA, amb l'objectiu d'aconseguir una «Europa digital». A casa nostra, fa uns pocs mesos, el flamant Pla Estratègic de la Universitat de Girona va fer bandera de la «suma de les intel·ligències». L'operació aritmètica en qüestió es proposa d'unir la intel·ligència natural amb l'artificial, diuen.

Succeeix, però, que, com passa sovint, la innovació té avantatges però també amaga certs perills. Els més pessimistes ens havien avisat manta vegades dels riscos de l'anomenada «singularitat», o moment en què la IA superarà la intel·ligència humana (qui no recorda la pel·lícula Terminator?). També hi ha qui pateix que els algoritmes ens facin menys humans (com Hannah Fry al seu llibre Hola mundo). Des de fa poques setmanes, disposem a més d'una constatació oficial que els riscos no només són mals presagis dels més malastrucs sinó una realitat. Un jutge europeu ha dictaminat per primera vegada que un algoritme pot resultar contrari als drets humans. D'una administració pública esperem, raonablement, que persegueixi el bé comú però que pel camí no atempti contra els drets humans. Doncs bé, un tribunal de districte de la Haia (Holanda) sentenciava el passat 5 de febrer que l'administració holandesa no pot fer servir un algoritme que infringeix l'article 8 de la Convenció Europea de Drets Humans i per tant resulta discriminatori. El mateix raonament es pot aplicar a la resta de països membres com Espanya.

La legislació holandesa permetia que el Govern holandès utilitzés un programari anomenat «Sistema d'indicació de risc» (Systeem Risico Indicatie, o SyRI a seques). El sistema de marres havia de facilitar a l'administració la prevenció del frau. SyRI, però, incompleix l'article 8, que protegeix el dret a la vida privada, en contra del que l'Estat holandès ha argumentat en el judici. Com a membre de la citada Convenció, diu el jutge, Holanda té una especial responsabilitat per evitar que l'ús de les noves tecnologies vulneri la privacitat. En aquest cas concret, l'algoritme emprat era discriminatori contra els immigrants i els residents amb pocs ingressos, perquè els associava automàticament a un major risc que defraudessin l'Estat. La legislació holandesa no troba un «equilibri just» (o redelijke verhouding) entre la invasió de la privacitat i la finalitat social de la prevenció del frau. La sentència imposa les costes del procés a l'Estat holandès. Aparentment Holanda no disposa encara d'un algoritme que li redacti lleis no discriminatòries.