Apunts | Del codi al comandament: la responsabilitat jurídica en la guerra impulsada per la IA

La Intel·ligència Artificial (IA) està transformant la guerra moderna. La creació de nous sistemes armamentístics i de defensa automatitzats ─concretament, la tecnologia que integra programari de detecció automàtica d’objectius─ és ja una realitat que altera el paper que durà a terme el component humà en conflictes armats futurs. És en aquest sentit que el secretari general de l’ONU, António Guterres, afirmava el 2024 que «la capacitat d’acció de l’ésser humà ha de preservar-se a tota costa». Si bé l’ús de la Intel·ligència Artificial en la guerra està regulat de manera indirecta pel dret internacional en vigor, és evident que cal legislació específica, ja que existeixen importants buits legals i ètics que s’han de debatre. 

Un bon punt de partida és considerar que la tecnologia, per si mateixa, no és ni bona ni dolenta. El que l’empeny en un sentit o un altre ─almenys fins ara─ és el component humà necessari també per al funcionament de les armes convencionals, fet que fa que sigui força fàcil reclamar la responsabilitat legal en els casos en què ho merita. No obstant això, el moment actual ens planteja nous dilemes: com podrà el dret internacional determinar la responsabilitat jurídica per l’ús indegut, accidental o per un error de calibratge d’una arma autònoma? Sobre qui hauria de recaure la responsabilitat d’aquests mals usos? Sobre la persona que va programar l’arma, el comandant militar o tal vegada sobre l’Estat? Aquests són alguns dels interrogants que qüestionen la capacitat de la legislació internacional actual per regular aquestes qüestions. I amb vista a això, aquest article pretén explorar aquests interrogants, precisament, sobre la base dels marcs jurídics vigents.

El primer malentès que convé aclarir és la creença que la Intel·ligència Artificial és una tecnologia nova que no té un marc jurídic al qual ha de respondre. Això no és així. Encara que el marc actual pot resultar insuficient en alguns aspectes, no cal reinventar la roda. Reconèixer els precedents que apliquen i les lleis ja existents és el primer pas per acotar els buits legals. 

Com ha assenyalat Pierrick Devidal, assessor polític del Comitè Internacional de la Creu Roja, en el seu article «Trying to square the circle: The ICRC AI policy» (Humanitarian Law & Policy, 2024), la Intel·ligència Artificial, com qualsevol innovació tecnològica, s’ha de sotmetre al marc normatiu en vigor. Aquest inclou el dret internacional dels drets humans, el dret internacional humanitari, la legislació internacional sobre protecció de dades, la responsabilitat per productes defectuosos, la propietat intel·lectual i l’ètica de la innovació.

Una de les vies més eficaces per evitar l’ús indegut d’aquestes tecnologies és garantir que qualsevol sistema nou d’IA compleixi aquestes normatives. Per això, resulta imprescindible incorporar el vocabulari i els conceptes propis de la Intel·ligència Artificial al llenguatge de qui elabora polítiques públiques. Només així es podran prendre decisions informades i negociar-se marcs regulatoris adequats. Aquesta tasca no és només una responsabilitat directa dels legisladors, sinó que també influirà en la manera com el dret internacional regularà les futures innovacions en aquest àmbit.

És essencial reconèixer que ja existeix un marc jurídic que regula ─encara que de manera parcial─ l’ús de la Intel·ligència Artificial (IA). Tanmateix, també cal admetre que aquest marc és actualment insuficient. La legislació sol avançar a un ritme més lent que la innovació tecnològica, i la IA no n’és una excepció. Un dels reptes més rellevants associats a l’ús de la IA en l’àmbit militar rau en el fet que, per molt ben programada que estigui, la Intel·ligència Artificial continuarà mancada de virtuts com ara el coratge, la responsabilitat i el sentit del deure, valors arrelats fonamentalment a la capacitat de judici propi de l’ésser humà. El risc de restar importància a aquestes virtuts pot debilitar l’element humà en la presa de decisions morals. D’altra banda, la dependència excessiva d’aquests sistemes automatitzats pot provocar la pèrdua de qualificació (deskilling) de les forces armades si no es gestiona correctament. La IA podria esdevenir, aleshores, un substitut d’habilitats essencials, en comptes d’un complement. Per això, és primordial garantir que el personal militar mantingui la seva preparació i eficàcia, independentment de l’ús de la Intel·ligència Artificial. És crucial que les forces armades no caiguin en el «biaix d’automatització», que segons Wen Zhou ─assessor jurídic del Comitè Internacional de la Creu Roja─, consisteix en la creença que tecnologies com la IA tenen una capacitat analítica superior a la dels humans. Això augmenta la probabilitat que els humans passin per alt les anomalies que pugui presentar el sistema i també crea noves amenaces per a la seguretat a causa de la dependència excessiva dels sistemes d’Intel·ligència Artificial per part de les forces armades.

A més, el biaix de l’automatització esmentat pot erosionar la capacitat dels comandaments per assumir la responsabilitat moral de les seves decisions, la qual cosa pot conduir, en última instància, a allò que la filòsofa de la tecnologia Shannon Vallor defineix com una «pèrdua de capacitat moral» (moral deskilling) de les forces armades, independentment de les seves aptituds físiques. Si, al fer servir armes autònomes, una persona només té vint segons per decidir si un objectiu és correcte o no, el marge d’error s’incrementarà. La deshumanització de l’objectiu durà també a la pèrdua del valor de la vida humana. Això porta a preguntar-se qui és el responsable de les morts accidentals causades pel sistema d’armes. La cadena de comandament militar no sempre permet identificar clarament qui és responsable dels errors derivats de l’ús de sistemes autònoms: el comandant que dona l’ordre, el soldat que prem el gallet o el programador que ha creat l’algoritme.

Un altre repte relacionat amb l’ús de la IA en els sistemes militars és la regulació de la informació amb què s’entrenen aquest tipus d’armes. El professor Gideon Christian ha assenyalat en diversos estudis que els sistemes de reconeixement facial basats en IA poden tenir biaixos significatius. Aquests errors poden acabar produint resultats discriminatoris no desitjats que vulneren el dret internacional, comprometen els principis de justificació i afecten directament l’ètica en la presa de les decisions militars. La tecnologia no és neutral: es forma a partir de les dades i criteris que introdueixen els seus programadors. Això obre la porta que els sistemes d’IA militar es puguin entrenar amb prejudicis racials o de gènere contra una determinada població o minoria. L’acadèmic Jamie Allinson, en el seu article «Necropolitics of Drones» (International Political Sociology, juny de 2015), explica que hi ha informes de drons que han atacat persones pel simple fet de semblar pertànyer a un grup ètnic, a causa d’un entrenament esbiaixat. Si es demostrés que aquests sistemes s’han entrenat intencionadament amb aquests prejudicis, qui seria responsable de les morts? I si el soldat que activa l’arma autònoma no sap que hi ha errors en la seva programació, es podria jutjar els programadors que han codificat aquests sistemes? Si la responsabilitat és íntegrament dels estats, cal establir mecanismes clars perquè els governs i els militars n’assumeixin les conseqüències. En cas contrari, es corre el risc que tota la culpa recaigui només sobre una persona concreta, com el programador que va treballar en el projecte.

En conclusió, el marc jurídic que regula la IA encara és incomplet i insuficient per tal de donar una resposta definitiva a aquest tipus de situacions, sobretot en l’àmbit militar. Tot i així, existeixen múltiples mesures que la comunitat internacional pot i segurament hauria d’adoptar per garantir que aquestes tecnologies s’utilitzin en benefici de la humanitat. El primer pas és reconèixer el marc jurídic existent que ajuda a regular aquestes innovacions i a garantir que qualsevol nou sistema compleixi tots els requisits legals abans de llançar-lo o provar-lo en un escenari real. El segon pas consisteix a analitzar les diferències de la legislació actual i determinar fins a quin punt s’ha de responsabilitzar els programadors d’aquestes armes. Per fer-ho, probablement caldrà la col·laboració entre professionals de diverses disciplines i responsables polítics per tal d’arribar a acords acceptables. I, sens dubte, l’interès dels estats també serà un factor que influirà en els resultats del debat.

Finalment, el repte més important és garantir per tots els mitjans que es preserva la capacitat d’acció de l’ésser humà, ja que la seva supervisió és imprescindible per assegurar un ús ètic de la IA en l’àmbit militar. Només així es podrà establir una cadena clara de responsabilitat legal per les conseqüències que aquestes tecnologies puguin tenir en una guerra real. La Intel·ligència Artificial no pot ser jutjada en un tribunal; per tant, la responsabilitat ha de recaure en els éssers humans que hi ha al darrere. Si no és així, voldrà dir que hem perdut el control sobre la tecnologia.