Ensayo

Blackout aeronáutico en Estados Unidos


La tecla off

El viernes 13 de noviembre Estados Unidos detuvo todos sus despegues aéreos durante más de cuatro horas. El sistema dejó de ser legible para sus propios operadores y una decisión humana detuvo el tránsito aéreo. No fue un hecho aislado. Vivimos una época entre dos accidentes: la pandemia de COVID y el desencadenamiento de los riesgos sistémicos de la IA. A escala social, es un gran estado híbrido, con instituciones diseñadas para un mundo, acopladas a sistemas técnicos que pertenecen a otro: la sociedad artificial que se configura mientras hablamos.

En 2020, en esta misma revista propusimos la hipótesis según la cual la pandemia de covid-19 era un “accidente normal” o sistémico: un acontecimiento propio del funcionamiento habitual de un sistema sociotécnico hipercomplejo, al mismo tiempo previsible e inevitable. Una de las imágenes de aquel desastre eran los aviones detenidos. El tráfico de la aviación comercial, el sistema que había llevado el virus a todos los continentes en pocas semanas, quedó reducido a menos de un 50 % de sus niveles normales por más de 19 meses.

El viernes pasado los aviones se detuvieron otra vez, pero ahora sin virus.

A las 15:36, hora del este de los Estados Unidos, empezaron las fallas en las comunicaciones del control de tránsito aéreo, según el secretario de Transporte, Sean Duffy. Dieciocho minutos después, sin un diagnóstico de lo que ocurría, el Centro de Comando de la Administración Federal de Aviación (FAA), la autoridad aeronáutica de los Estados Unidos, emitió el aviso 111: “debido a circunstancias extraordinarias y por razones de seguridad [safety]” todos los aeropuertos del país quedaban parados en tierra “hasta nuevo aviso”. Fue la segunda vez desde el 11 de septiembre de 2001.

Dieciocho minutos de incertidumbre no alcanzaron para entender qué pasaba, pero sí para decidir que, mientras no se entendiera, nadie despegaba. El sociólogo de las organizaciones Charles Perrow lo había advertido en su libro Normal Accidents [Accidentes Normales], de 1984: “En los sistemas industriales, espaciales y militares complejos, un accidente normal significa generalmente (aunque no siempre) que las interacciones no sólo son inesperadas, sino también incomprensibles durante un periodo de tiempo crítico”.

La orden no se limitó a los despegues. Veintiséis minutos después, otro aviso anunció posibles circuitos de espera en vuelo hacia cualquier aeropuerto del país “debido a interrupciones en el funcionamiento de los equipos”. Los vuelos internacionales que se dirigían a Estados Unidos se resolverían, según el primer aviso, “caso por caso”. Pero un avión no puede permanecer en circuito de espera indefinidamente: el combustible que lleva marca el tiempo que le queda antes de aterrizar en su destino o desviarse a un aeropuerto alternativo. Según el secretario de Transporte, en ese momento había unos 3.500 aviones en el aire, y todos aterrizaron con seguridad. La causa que la FAA consignó en sus avisos fue escueta: “falla de comunicaciones”.

La medida se levantó a las 20:16, y se fueron habilitando los más de 10.000 vuelos que habían sido afectados: el sábado continuaban las demoras y cancelaciones.

Según la investigación inicial de la FAA, publicada el domingo, se trató de un problema de “exceso de datos”, que provino de dos lugares: una estación de radar en Amarillo, Texas, y una estación de comunicaciones por radio en El Dorado, Arkansas. El secretario de Transporte había explicado ya el sábado que cuando se encendió el equipo de Arkansas, el de Texas empezó a inundar la red con más de mil intentos de conexión cada cuatro o cinco segundos. El comunicado oficial del domingo continúa así: “L3Harris, el actual proveedor de servicios de red de la FAA, había estado realizando trabajos en la instalación de El Dorado, incluyendo la conexión de un nuevo enrutador (router). Cuando ocurrieron estas inconsistencias en los datos, L3Harris bloqueó ambas ubicaciones y la red se estabilizó. Asimismo, se desactivó la función de difusión (broadcasting) en todos los nuevos enrutadores como medida de precaución”. El fabricante sostiene que sus equipos funcionaron como estaba previsto. Si la investigación lo confirma, la red habrá funcionado como lo que Perrow llamaba un componente “en modo compartido”: uno que presta servicio a varios otros y que, si falla, los arrastra a todos. 

Una época entre accidentes

En el TecnocenoLab, el Observatorio de Tecnologías, Sociedad y Ecosistemas Digitales (UBA) donde trabajamos, pensamos el momento actual como una época “entre accidentes”: el intervalo abierto entre la pandemia del coronavirus y el desencadenamiento de uno o varios de los riesgos sistémicos de las inteligencias artificiales emergentes --las IA posteriores al ChatGPT 3.5--. La tradición de los estudios en seguridad (safety) enseña que esos intervalos nunca están vacíos.

En la investigación de accidentes se distinguen tres tipos de sucesos: el accidente, con víctimas o daños graves; el incidente: el suceso que compromete la seguridad sin llegar al desastre; y los cuasi-incidentes o precursores: situaciones anómalas sin ninguna consecuencia pero que muestran una tendencia y dan aviso acerca de un posible evento no deseado.

El evento del viernes no fue la primera señal. Desde 2023, una sucesión de fallas de radar, radio y sistemas de información viene afectando al control aéreo estadounidense, y la respuesta fue un plan de modernización que tardará años en completarse: una defensa de largo plazo frente a un riesgo inmediato, que a su vez abrió un período de mayor fragilidad. Hubo incluso un antecedente con un mecanismo muy parecido. El 19 de noviembre de 2009, Harris Corporation, la empresa que administraba la red de telecomunicaciones de la FAA desde 2001 y que en 2019 se fusionó con L3 para formar L3Harris, puso en servicio un nuevo router en esa red. El equipo tenía un error de configuración que bloqueó alrededor del 75 % del tráfico de la red y dejó en tierra cientos de vuelos. El Inspector General del Departamento de Transporte atribuyó la falla a “errores de configuración de red y de procedimiento del contratista”.

Nuestra hipótesis es que este momento “entre accidentes” está poblado de un tipo específico de incidentes y cuasi-incidentes: los blackouts de infraestructura crítica, que son apagones en los sistemas necesarios para prestar un servicio esencial en el mantenimiento de funciones sociales o actividades económicas vitales: redes de energía, telecomunicaciones, control de tránsito aéreo, plataformas de software que sostienen bancos, hospitales, transporte, entre otras.

Significativamente, el 26 de marzo de 2025, un mes antes del apagón eléctrico que dejó a España, Francia y Portugal sin suministro por hasta 20 horas, un documento de la Comisión Europea incluyó una recomendación a los ciudadanos de la Unión para que tuvieran listo un kit de supervivencia que permita afrontar hasta 72 horas sin asistencia externa, una medida que pretende reforzar la preparación de los hogares ante emergencias como apagones, desastres naturales o posibles conflictos armados y que fue refrendada en un nuevo documento del Foro Europeo de Protección Civil el 3 de este mismo mes, dado que Europa “se enfrenta a crisis cada vez más frecuentes y complejas”. El kit sugerido incluye agua embotellada (cinco litros por persona), alimentos fáciles de preparar no perecederos, radio a pilas, linterna, batería de repuesto para el teléfono móvil, hornillo portátil y garrafa, combustible, fósforos, dinero en efectivo, medicamentos, pastillas de yodo, material de primeros auxilios, artículos de higiene y extintor. La recomendación incluye tener a mano documentos de identidad y un cargador para dispositivos electrónicos.

Dos formas de apagarse

Hay al menos dos formas de blackout. La primera es por cascada. En el apagón del 28 de abril de 2025, la península ibérica quedó a oscuras. El informe técnico concluyó que el incidente se originó en España y no tuvo una única causa: fue la suma de varias interacciones y fallos que se retroalimentaron en menos de 90 segundos. Es casi una definición de lo que Perrow llamaba accidente normal o sistémico: fallas que por sí solas serían menores interactúan de un modo que nadie previó, en un sistema de acoplamiento fuerte. Perrow lo definía así: un sistema en el que “los procesos discurren a gran velocidad y no pueden ser detenidos” y “las secciones averiadas no pueden ser aisladas de las demás”; una vez ocurrida la perturbación, “ésta se extenderá rápida e irreparablemente al menos por algún tiempo”. En la península ibérica bastaron noventa segundos. Nadie decidió ese apagón. El sistema se apagó solo.

La tecla OFF supone algo que hoy se discute en cada foro sobre riesgos de la inteligencia artificial: la supervisión humana y la capacidad para detener el escalamiento de una eventual automejora recursiva.

La segunda es por decisión. Es el caso del viernes. Cuando los operadores ya no pueden interpretar aquello que el sistema les muestra ni responder a sus fallos, y el problema amenaza con escalar, la defensa que queda es empezar a detenerlo antes de que la cascada se propague. Frente a la opacidad, el único mecanismo para desacoplar es la tecla OFF. La larga cuarentena de 2020-2021 fue también un blackout por decisión: frente a un virus de escala planetaria, se apagó la vida social mediante el “aislamiento social preventivo y obligatorio” (que luego dejó paso al “distanciamiento social preventivo y obligatorio”.

En el blackout por cascada, el sistema falla, arrastrando a veces sus propias protecciones. En el blackout por decisión, la defensa en profundidad todavía conserva su última capa en pie: alguien con autoridad baja la palanca antes de que el incidente se convierta en accidente. El viernes, el costo de esa decisión fue enorme: según una estimación citada por la prensa estadounidense, entre 300.000 y 400.000 pasajeros quedaron varados. Sin embargo, no hubo víctimas, y eso habla de una cultura de seguridad construida durante décadas. 

La decisión humana

La tecla OFF supone algo que hoy se discute en cada foro sobre riesgos de la inteligencia artificial: la supervisión humana y la capacidad para detener el escalamiento de una eventual automejora recursiva. Con respecto a la importancia crucial de la supervisión humana, el caso más citado ocurrió el 26 de septiembre de 1983. El sistema soviético de alerta temprana informó el lanzamiento de un misil desde los Estados Unidos, y enseguida después, de otros cuatro. El oficial de guardia, Stanislav Petrov, sospechó una falsa alarma y decidió no tratarla como un ataque real, aunque eso era lo que indicaba el procedimiento. Más tarde se supo que los satélites habían confundido con misiles el reflejo del sol sobre nubes de gran altura. Un documental de 2014 lo llamó “el hombre que salvó el mundo”.

Petrov no apagó una tecla, la prendió. Se negó a creerle a la máquina, y con eso activó lo que Bernard Stiegler llamaría una crucial, decisiva desautomatización. Es el gesto inverso al de la FAA y cumple la misma función: el juicio humano interrumpe una cadena automática. Una cadena que en 1983 consistía en un protocolo a seguir, y que hoy, con las inteligencias artificiales de frontera, está ya inscrita en los algoritmos que programan máquinas autónomas, incluidas las armas. Petrov tuvo minutos y una intuición lógica que él mismo explicó después: si Estados Unidos atacara a la Unión Soviética, no lo haría con solo cinco misiles. La capacidad de acertar saliéndose del programa es –por el momento– una potencia propiamente humana. La responsabilidad ética y política de hacerlo, también.

Para ser eficaz, la supervisión humana tiene condiciones: alguien que entienda lo que el sistema hace, que tenga tiempo para dudar, que tenga autoridad para detenerlo y que no sea castigado por hacerlo. Cuanto más rápidos y opacos son los sistemas, más difícil es reunir esas condiciones. La pregunta para la inteligencia artificial es si el humano “en el circuito” podrá decidir algo.

 La disputa por la lección

Lo más revelador de un blackout es lo que pasa después: la disputa por su sentido. Cada apagón de infraestructura crítica, sobre todo en sistemas que están bajo la presión de una acelerada migración tecnológica, se puede leer de dos maneras casi opuestas. La primera dice: esto pasó porque fuimos demasiado rápido. Cambiamos lo que no hacía falta cambiar, introdujimos actualizaciones sin entender cómo iban a interactuar con lo existente. No conocíamos nuestro propio sistema. La segunda dice: esto pasó porque fuimos demasiado lento. El sistema es viejo, lo sabíamos, y esto confirma que hay que reemplazarlo cuanto antes y con más dinero.

Al día siguiente, el gobierno ofreció una primera explicación. Según el secretario de Transporte, todo empezó en un sitio remoto de la FAA donde el contratista L3Harris reemplazaba cables de cobre por fibra óptica. Por causas que todavía no están determinadas, un equipo de la red empezó a inundar a los demás. La empresa dijo que colabora con la investigación, sin pronunciarse sobre esa versión. No hay todavía un informe técnico ni fecha para conocerlo. Pero el sábado 14 la disputa por la lección ya estaba en marcha. El secretario Duffy tomó partido por la obsolescencia: “Nuestros nuevos switches IP no se cayeron. Lo que se cayó fue el hardware viejo”, y elevó a 50.000 millones de dólares su pedido al Congreso. Su colega de Seguridad Nacional puso el acento en los traumas del cambio: la sobrecarga habría empezado con el equipo nuevo que se estaba instalando, que desbordó al sistema viejo. Dos lecciones para un mismo hecho, en menos de veinticuatro horas.

La aviación y la industria nuclear llegaron a sus estándares actuales después de décadas de accidentes investigados, de marcos regulatorios internacionales construidos evento a evento y de una comunidad de práctica que produjo conocimiento propio. La inteligencia artificial apenas reúne algunas piezas sueltas: registros de incidentes, institutos de evaluación, un reglamento europeo que se posterga.

Proponemos una tercera lectura. El problema no es la obsolescencia ni la aceleración técnica: es el estado híbrido. Durante una migración, el sistema viejo y el nuevo conviven acoplados, y nadie conoce del todo cómo interactúan. La FAA planea pasar las comunicaciones del control aéreo de analógicas a digitales hacia fines de 2027 y llevar después sus instalaciones a la nube. Ese tránsito, que puede durar años, es el período de máxima complejidad interactiva. En el campo de los riesgos esto tiene un nombre: gestión del cambio. Las normas aeronáuticas internacionales de seguridad (safety) obligan a evaluar los riesgos de cada modificación antes de introducirla, porque el cambio es en sí mismo una fuente de peligro.

La época entre accidentes es, a escala social, un gran estado híbrido. Instituciones diseñadas para un mundo funcionan acopladas a sistemas técnicos que pertenecen a otro: la sociedad artificial que se configura mientras la habitamos. Lo que la aviación exige en un centro de control, evaluar el cambio antes del cambio, casi no existe cuando se incorpora inteligencia artificial en hospitales, tribunales o redes eléctricas. Hubo un intento de presionar para conformarlo. En marzo de 2023, una carta impulsada por el Future of Life Institute y firmada por cientos, pronto miles de investigadores y empresarios, pidió pausar durante al menos seis meses el entrenamiento de los sistemas de IA más avanzados, para desarrollar en ese tiempo marcos y protocolos de seguridad compartidos. La pausa nunca ocurrió. En medio de la disputa por la hegemonía tecnológica, detenerse equivale a quedar atrás.

Por qué la aviación puede apagarse

El viernes había una tecla OFF y  funcionó. Para entender cómo fue posible hay que mirar dos cosas: la forma en que el sistema está construido y las instituciones que lo gobiernan.

La aviación comercial es una de las industrias más seguras del mundo, y lo es gracias a una arquitectura que se construyó a lo largo de un siglo. Desde 1944, el Convenio de Chicago y la Organización de Aviación Civil Internacional (OACI) establecen normas comunes; cada Estado tiene una autoridad con poder legal para certificar, habilitar y dejar una flota en tierra; y los accidentes los investiga un organismo independiente del regulador y de las empresas. Fabricar, regular e investigar son las tres funciones fundamentales, y están separadas a propósito.

Esa arquitectura tiene un estado seguro (el avión en tierra), una autoridad que puede decidirlo y un criterio compartido según el cual, ante la duda, se aplica el principio precautorio: no se despega. Nada de eso es natural. Es el resultado de considerar que la aviación tiene reglas iguales en todos los países del mundo, de haber investigado accidentes durante décadas, y de haber tomado la decisión de asumir la seguridad como proyecto político.

En Accidentes normales, Perrow le dedicó un capítulo entero a esta industria y llegó a una conclusión que hoy suena paradójica: el control del tránsito aéreo era “un destacado ejemplo de la posibilidad de reducir la complejidad y el acoplamiento” incluso en un momento de expansión de la industria. Desde los años sesenta, la densidad del tránsito había crecido sin pausa y, sin embargo, las colisiones en vuelo habían descendido “a casi cero”. Perrow lo atribuía a una combinación de decisiones: segregar el tránsito en corredores, separar a los aviones lentos de las altitudes de los reactores, exigir una segunda radio a bordo y sistemas de respaldo para los controladores. A esto se suma que el radar ya era un sistema de respaldo en sí mismo, que podía funcionar independientemente de la comunicación oral: si fallaba la radio, el controlador seguía viendo los aviones.

El tránsito aéreo admite pausas de un tipo que la red eléctrica no tiene. En su mapa de riesgos, Perrow ubicaba las redes eléctricas en la franja de acoplamiento fuerte, a la altura de las centrales nucleares. La razón es física: en una red, lo que se genera debe consumirse en el mismo instante. El tránsito aéreo, en cambio, queda cerca del centro del mapa: “ni su acoplamiento es muy fuerte ni su interactividad muy compleja”. Perrow lo consideraba acoplado “nada más que en un grado moderado”, porque en el control del tránsito “es posible introducir retrasos”. Esa holgura hizo posible la tecla OFF del viernes, y también marca sus límites. Los despegues pueden detenerse sin plazo. Los aviones en vuelo, en cambio, solo pueden esperar lo que les permite su reserva de combustible; tarde o temprano deben aterrizar. Apagar el espacio aéreo de un país es un proceso por etapas, con tiempos que deben respetarse. Se parece más a la parada de un reactor nuclear, que detiene la reacción en segundos pero exige seguir refrigerándolo durante días. Lo decisivo es quién lo inicia. En nuestro caso de estudio, la decisión fue humana y la tomó un organismo estatal de control.

El viernes, las comunicaciones y el radar fallaron de forma intermitente y simultánea en casi todo el país. Según la FAA, llegaron a estar afectados 17 de los 22 centros de control de ruta, aunque ninguno quedó completamente a oscuras. Los controladores recibían frecuencias que iban y venían, y debían pasar una y otra vez del equipo principal al de respaldo. La redundancia existía y se usó; el problema fue que la falla alcanzaba a todos a la vez. Desde que Perrow escribió su libro, la aviación llevó buena parte de sus comunicaciones a redes de datos, y cada canal nuevo fue pensado como una redundancia más. Según la explicación oficial preliminar, un router empezó a inundar a los demás con más de mil intentos de conexión cada cuatro o cinco segundos. El sindicato de los técnicos especialistas de la FAA precisó que el problema se limitó a dos routers que habían sido actualizados ese mismo viernes. El estado híbrido en su forma concreta.

Perrow también explicó por qué la aviación había logrado ser una industria ultrasegura. En el epílogo de 1999 propuso criterios para distinguir los sistemas “que evitan que sucedan errores” de los sistemas “inductores de errores”. Entre las características de los sistemas virtuosos están que la información sobre los errores se comparta entre organizaciones, y que el entorno esté poblado de actores (sindicatos, asociaciones profesionales, legisladores) que obliguen a investigar, de modo que sea menos probable culpar “a Dios o al operador”. Para Perrow, la seguridad de la aviación era una construcción política antes que técnica.

El vocabulario del enemigo, o sobre la insensatez de que las partes sean jueces

La propuesta más habitual de las grandes empresas de inteligencia artificial frente a sus propios riesgos es, con matices, una forma de autorregulación: que las compañías evalúen sus modelos, publiquen sus marcos de seguridad y decidan cuándo algo es demasiado peligroso para lanzarlo. La aviación aprendió el costo de ese modelo. Entre 2012 y 2017, la FAA había delegado en Boeing buena parte de la certificación del 737 MAX, su más reciente modelo de avión, y así salió al servicio una aeronave con fallas de diseño. Dos accidentes separados por menos de cinco meses, en octubre de 2018 y marzo de 2019, produjeron la muerte de 346 personas. Después del segundo, China bajó la tecla y dejó en tierra todos los MAX. La FAA resistió tres días, y fue de las últimas organizaciones en hacerlo. Una investigación del Congreso concluyó que Boeing había fallado en el diseño del avión y la FAA, en su supervisión. El rediseño llevó veinte meses. La aviación supo pausar, pero lo hizo después de cientos de muertes y a un costo inmenso. La lección para la inteligencia artificial es que, incluso en la industria más segura, la tecla OFF llega tarde cuando depende de la misma empresa que opera el sistema, y que por lo tanto debe ser la controlada (no la controladora).

Cuando las empresas de IA han pedido regulación, como en 2023, fue en los términos que solo ellas mismas podían cumplir. Ese año, uno de los fundadores de Google Brain, Andrew Ng, acusó a las grandes tecnológicas de usar el miedo a la extinción como parte de un “manual estándar de captura regulatoria”, es decir, que buscaban influir sobre políticos y organismos estatales para que diseñaran normas a su medida. Las intenciones no pueden probarse, pero resulta claro que las reglas no pueden estar escritas por quienes deben ser regulados. A la vez, si los únicos que conocen verdaderamente los sistemas son las compañías que los fabrican, la posibilidad de regular queda en letra muerta.

El lenguaje de la seguridad como defensa frente a un adversario (security) desplazó al de la seguridad como integridad de los sistemas (safety). En 2025, el instituto británico creado para evaluar los riesgos de la IA pasó a llamarse AI Security Institute en lugar de AI Safety Institute, y el gobierno aclaró que dejaría de ocuparse del sesgo y de la libertad de expresión: su foco serían los daños con un perpetrador identificable, como el fraude, los ciberataques o las armas biológicas.

Hay otro desplazamiento, más silencioso, en el lenguaje. Mientras los aviones seguían en tierra, una de las primeras voces oficiales fue la del secretario de Seguridad Nacional, que buscó tranquilizar: no era otro 11 de septiembre, no había indicios de un ataque. Casi al mismo tiempo circuló otra sospecha. Tres días antes, la FAA había extendido a sus 22 centros de control un nuevo sistema de gestión del tránsito basado en inteligencia artificial, llamado SMART. La empresa que lo desarrolló negó cualquier relación mientras los aviones seguían en tierra, y al día siguiente el administrador de la FAA dijo que no había “ninguna evidencia de algo malicioso, y ninguna evidencia de algo relacionado con la IA”. Las dos preguntas buscaban lo mismo: un agente externo al que atribuirle la falla, fuera un enemigo o una máquina nueva. Antes de preguntarse cómo interactuaron las partes del sistema, se preguntó quién había sido el culpable.

Ese reflejo tiene historia reciente. El lenguaje de la seguridad como defensa frente a un adversario (security) desplazó al de la seguridad como integridad de los sistemas (safety). En 2025, el instituto británico creado para evaluar los riesgos de la IA pasó a llamarse AI Security Institute en lugar de AI Safety Institute, y el gobierno aclaró que dejaría de ocuparse del sesgo y de la libertad de expresión: su foco serían los daños con un perpetrador identificable, como el fraude, los ciberataques o las armas biológicas. En febrero de este año, la cumbre internacional de Nueva Delhi selló el desplazamiento. Estados Unidos, que se había negado a firmar la declaración de París en 2025, firmó esta vez un texto que no menciona la seguridad de la IA en el sentido de safety. En cambio, destaca la seguridad de los sistemas y las “medidas voluntarias lideradas por la industria”. El  jefe de la delegación estadounidense fue explícito: “Rechazamos totalmente la gobernanza global de la IA”.

Hay una expresión reciente que integra ese desplazamiento y que reconduce los problemas de la safety a los fallos de componente, la seguridad técnica, que es un aspecto –relevante, fundamental incluso, pero no el único– de la seguridad sistémica. Se trata del término “vulnerabilidad de día cero” (zero-day). Pertenece al vocabulario de la security y designa una falla que los desarrolladores desconocen y para la que todavía no existe un parche, y por lo tanto un atacante, si la descubre, podría aprovecharla para perjudicar. Este año, una empresa de IA informó que su modelo había detectado, junto con empresas asociadas, más de 10.000 vulnerabilidades de severidad alta o crítica en software que sostiene internet en un solo mes, y la expresión pasó de la jerga técnica al lenguaje general.

Lo que ese vocabulario deja en segundo plano es la safety entendida como seguridad sistémica: los riesgos que no necesitan enemigo 

Un accidente normal se parece a un día cero, porque también es una falla que nadie conocía. Pero hay una diferencia de fondo, que tiene que ver con qué entendemos por un sistema seguro y hasta dónde llegan las responsabilidades por su diseño e implementación. El “día cero” se preocupa por la robustez de los componentes por separado: si hay una vulnerabilidad, se la encuentra, se la parchea y el problema, aparentemente, desaparece. En los sistemas sociotécnicos complejos, como aquellos en los que hoy se integra la inteligencia artificial, el accidente sistémico es una propiedad emergente: nace de la interacción entre partes que por separado funcionan, o cuyas fallas, cada una por sí sola, serían tolerables. Buscarle una causa raíz es buscar una pieza culpable que no necesariamente existe. Al accidente normal no le hace falta ningún adversario: le alcanza con que esas interacciones se produzcan de un modo que nadie previó, y con que el sistema siga cambiando a lo largo del tiempo, entre generaciones de personas, a través de materialidades y lógicas distintas. Según la FAA, el viernes no hubo atacante, y aun así el sistema dejó de ser legible para sus operadores. Cuando todo riesgo se nombra con el vocabulario del ataque, la pregunta por el diseño, la organización y el ritmo de implementación, la pregunta por la sociedad en la que estos sistemas actúan, queda relegada. Y la autoridad se desplaza hacia quienes saben “defender”, que suelen ser los mismos que construyen.

La tecla europea

En Europa ya se probó una vez la tecla. El 30 de marzo de 2023, la autoridad italiana de protección de datos ordenó, con efecto inmediato, limitar provisoriamente el tratamiento de los datos de los usuarios italianos por parte de OpenAI. Señalaba la falta de una base jurídica que justificara recolectar datos personales para entrenar sus algoritmos y la ausencia de verificación de edad. Ese mismo día, la empresa bloqueó el acceso a ChatGPT desde Italia. Un mes después, tras adoptar las medidas exigidas, el servicio volvió. El episodio muestra que un Estado puede intervenir, y también los límites de esa intervención: la orden vino de una autoridad de privacidad, con una ley pensada para los datos personales, y quien efectivamente apagó el servicio fue la propia empresa. También es cierto que no todo es, ni puede ser, regular y prohibir. Cabe recordar el caso del estallido en Nepal, ocurrido en septiembre de 2025, cuando el bloqueo gubernamental a 26 plataformas de redes sociales desató una revuelta que terminó derribando al gobierno en menos de una semana. Política no es necesariamente sinónimo de prohibición, mucho menos en tecnologías que están fuertemente capilarizadas por toda la sociedad. 

El Reglamento de Inteligencia Artificial de la Unión Europea, aprobado en 2024, debía darle a esa tecla una base propia. Exige que los sistemas de alto riesgo puedan ser supervisados por personas, capaces de advertir el sesgo de automatización (la tendencia a confiar de más en lo que dice la máquina, a la que Petrov se resistió) y de interrumpir el sistema mediante un botón de parada o un procedimiento similar que le permita detenerse en un estado seguro. Es, casi palabra por palabra, la lógica del avión en tierra. 

Pero tampoco Europa está a salvo de la tentación de no apagar. En mayo de este año, el Parlamento y el Consejo europeos acordaron postergar esas obligaciones: los sistemas de alto riesgo, incluidos los de infraestructura crítica, deberán cumplirlas recién desde el 2 de diciembre de 2027. La razón oficial fue la falta de normas técnicas.

Una agenda pendiente

Frente a los riesgos de la inteligencia artificial, es tentador buscar modelos en otras tecnologías capaces de producir accidentes catastróficos que, sin embargo, alcanzaron altos estándares de seguridad. La aviación comercial y la industria nuclear son los ejemplos clásicos. Pero la inteligencia artificial tiene rasgos que esas industrias no tienen. Es una metatecnología: no es un sistema más, sino una capa que se incorpora o se ensambla a todos los demás, incluido el propio control aéreo, como mostró la sospecha sobre SMART. Y un modelo distribuido abiertamente no puede, como un avión, quedar en tierra.

Sus daños, además, pueden ser selectivos y acumulativos, como los sesgos que perjudican siempre a los mismos grupos, por clase, origen étnico o género, sin que nadie registre un accidente: el tipo de daño que en 2025 Estados Unidos y el Reino Unido sacaron de la agenda de sus institutos de seguridad, en un giro que la declaración de Nueva Delhi terminó de consolidar al omitir la safety. Y pueden ser graduales, como lo que la industria llama el desempoderamiento humano, o debilitamiento cognitivo: la erosión de capacidades como la atención, la memoria o el juicio crítico a medida que se delegan en la máquina. Los primeros estudios son todavía preliminares, pero apuntan en esa dirección. Para ese tipo de daño, ninguna tecla OFF alcanza: no hay un momento en que el sistema falle, porque el daño ocurre mientras funciona.

La analogía es, entonces, un diagnóstico de distancia. La aviación y la industria nuclear llegaron a sus estándares actuales después de décadas de accidentes investigados, de marcos regulatorios internacionales construidos evento a evento y de una comunidad de práctica que produjo conocimiento propio. La inteligencia artificial apenas reúne algunas piezas sueltas: registros de incidentes, institutos de evaluación, un reglamento europeo que se posterga. La seguridad sistémica de la IA es un campo de estudios incipiente, y la informática empezó hace poco a pensarse como una industria de riesgo. Todo eso todavía no forma un sistema de seguridad (safety) a la altura de sus riesgos. Lo que se viene pensando, en un momento en el que la tecnología está todavia en desarrollo pero ya convivimos intensivamente con ella, es constituir marcos mínimos viables de gobernanza.

El viernes, la tecla OFF existía. Para la inteligencia artificial todavía hay que construirla, y el momento para hacerlo es este: entre accidentes.

IA