¿Quién tiene el mando? Inteligencia artificial y conciencia humana en la aviación.

Entre algoritmos y automatización, el piloto enfrenta un nuevo desafío: no perder el control, ni el criterio.

No es magia. Tampoco es pensamiento. Mucho menos, conciencia.

La inteligencia artificial (IA) es un conjunto de tecnologías desarrolladas para cumplir objetivos humanos definidos de antemano, procesando volúmenes masivos de datos para generar resultados específicos: contenido, predicciones, recomendaciones o decisiones. (OECD, 2019; UNESCO, 2021)

La IA no piensa. No decide por sí sola. No interpreta valores éticos, al menos hasta ahora, aunque sus respuestas parezcan autónomas. Todo lo que hace está condicionado por lo que nosotros, los humanos, definimos, programamos o dejamos abierto.

Por eso, en aviación, donde cada decisión tiene peso operacional, no alcanza con entender cómo se usa un sistema. Hay que saber por qué existe, qué problema busca resolver y qué nuevos riesgos introduce.

Esa es la base para discutir su uso responsable, especialmente cuando toca la seguridad operacional.

Hace unos días, La Nación publicó una nota titulada: “Por favor y gracias: tratar con cortesía a ChatGPT cuesta millones de dólares, pero vale la pena”.

Sam Altman, CEO de OpenAI, reveló que una parte significativa de los costos operativos de su empresa se debe a algo tan humano como inesperado: las miles de personas que le escriben “gracias” y “por favor” a ChatGPT.

No cambia nada en el modelo. No mejora las respuestas. Pero igual se procesa. Ese gesto mínimo, casi automático, tiene un costo de “decenas de millones de dólares”.

Lo importante no es el gasto, sino lo que revela: seguimos proyectando humanidad sobre sistemas técnicos.

Le agradecemos a la IA porque, en el fondo, necesitamos creer que hay alguien del otro lado. Una reacción casi antropológica, que muestra cómo, incluso en entornos hipertecnológicos, la comunicación sigue teniendo una carga emocional inevitable.

La razón humana

Como bien explicó Antonio Damasio, la razón humana no opera separada de la emoción. Decidimos con el cuerpo, con la memoria emocional, con estructuras afectivas profundas. El cerebro, diría él, no es una máquina lógica. Es un sistema biológico que siente, interpreta y reacciona en función de lo vivido.

Por eso, cuando hablamos con una IA, nuestro sistema nervioso responde como si estuviéramos frente a otro ser consciente… aunque sepamos que no lo está.

No es ingenuidad: es biología.

Somos seres sociales y simbólicos; construimos vínculos, incluso cuando no hay nadie allí. Y esa necesidad de vínculo puede volverse un riesgo si, en cabina o en sistemas críticos, confundimos reacción algorítmica con comprensión real.

Recomiendo especialmente la lectura de El error de Descartes (Crítica, 1996). Este libro fundamental de Damasio introduce la idea revolucionaria de que la razón no está separada de la emoción, como sostenía el pensamiento cartesiano. Con evidencia neurocientífica, demuestra que sentir es esencial para decidir. También podes hacer el curso sobre seguridad operacional y neurociencia.
Ideal para sustentar la tesis de que, aunque interactuemos con sistemas de IA, seguimos operando desde una base emocional ineludible.

Señala Antonio Damasio, “el sentimiento no es un lujo; es una pieza fundamental de la maquinaria de la razón”. Incluso cuando operamos sistemas tecnológicos avanzados o nos relacionamos con una IA en cabina o en tierra, no dejamos de ser seres emocionales que interpretan el mundo con base en experiencias vividas.

Decidir no es solo calcular: es sentir.

Y por eso, cuando le decimos “gracias” a un sistema, no estamos actuando irracionalmente: estamos manifestando algo profundamente humano.

Tecnología

Siempre me intrigaron las promesas de la tecnología. Durante años, fuimos testigos de una transformación digital que al principio parecía imparable y repleta de oportunidades.

Pero cuanto más avanzamos, más evidente se vuelve que la digitalización y la inteligencia artificial nos enfrentan a un dilema crítico:

¿Nos están ayudando a mejorar… o nos están quitando el control?

Históricamente, el progreso tecnológico ha sido un acto de liberación. Desde la invención del fuego hasta el primer vuelo propulsado, buscamos superar nuestras limitaciones físicas. Lo hicimos con herramientas que extendieron nuestra fuerza, nuestro alcance, nuestra visión: la rueda, la palanca, el motor.

Más tarde, intentamos hacer lo mismo con nuestras funciones cognitivas: el ábaco, la escritura, el cálculo, los primeros computadores, hasta llegar a la inteligencia artificial.

Pero aquí aparece una paradoja: cuanto más intentamos replicar o sustituir nuestras capacidades cognitivas, más riesgo corremos de perder el control sobre aquello que creamos.

La historia de la automatización en aviación está llena de buenas intenciones. “Dejemos que la máquina haga lo rutinario, así el piloto puede enfocarse en lo importante.” Claro, suena bien en el PowerPoint. Pero en la práctica, no siempre termina bien.

Como advirtió Norbert Wiener, pionero de la cibernética: “Hemos modificado nuestro entorno de tal forma que ahora debemos modificarnos a nosotros mismos para sobrevivir en él.”

La aviación es un caso testigo: la cabina moderna está diseñada con tal nivel de automatización que muchas veces el piloto queda relegado a supervisar procesos que no siempre comprende a fondo. ¿Dónde queda entonces la conciencia situacional? ¿Qué significa “estar al mando” si el mando se diluye entre líneas de código?

Vivimos en la era de una fe desmesurada en que todo problema tiene una solución técnica, pulcra, libre de ambigüedades.

Pero volar, como vivir, nunca fue una operación libre de ambigüedades.

En cabina, los dilemas no siempre se resuelven con fórmulas. Se resuelven con juicio. Con intuición. Con experiencia. Es decir, con humanidad. Como escribió el filósofo Martin Heidegger, el mayor peligro de la técnica no es la máquina, sino que el ser humano se convierta en un simple medio dentro de un sistema que ya no comprende. (Heidegger advertía sobre la tendencia a transformar al ser humano en “recurso disponible” en contextos tecnificados, perdiendo su capacidad de decisión libre.)

Las “Leyes” de Wiener

Hace más de cuatro décadas, Earl L. Wiener, resumió en 31 aforismos la tensión entre humanos y automatización. Es impresionante lo proféticas que resultaron sus “leyes”.

Una de ellas dice: “La automatización no te exime de entender el sistema.”

Esa frase, en el contexto actual de la IA, resuena como una alarma encendida.

Cuando diseñamos sistemas que se autooptimizan, que “aprenden” o que toman decisiones sin intervención humana clara, corremos el riesgo de convertirnos en operadores ciegos de cajas negras, si no es realizado adecuadamente.

Como bien decía Wiener, “tarde o temprano, el sistema estará en manos de alguien que no sabe lo que está haciendo”.

Y ese alguien, hoy, podría ser cualquier piloto mal entrenado en la lógica del sistema que se supone debe supervisar.

Si olvidamos estas lecciones, corremos el riesgo de repetir los mismos errores, pero esta vez amplificados por la potencia de la IA. La cabina digital, si no se diseña para el entendimiento humano, no es un avance: es una trampa elegante y sofisticada.

Si bien se presentan como las 31 “leyes” de Wiener desde el número 1 a la 16, se dejaron en blanco intencionalmente. Resulta especialmente simbólico que las primeras 16 leyes estén en blanco. Entiendo que no fue un descuido. Fue una provocación. Una invitación. Porque en el fondo, Wiener sabía que ninguna automatización, por más avanzada que sea, puede reemplazar la conciencia crítica del piloto.

Cada vuelo, cada situación, cada decisión forma parte de un sistema vivo donde el juicio no puede programarse. Las leyes faltantes somos nosotros. Nuestra experiencia, la capacidad de cuestionar incluso aquello que parece incuestionable. Por eso, cuando se diseñan sistemas basados en IA, no alcanza con lo que la máquina puede hacer. Hay que preguntarse qué debería hacer, y esa respuesta solo puede salir de una mente humana.

En un artículo conmemorativo publicado en Aviation Week el 28 de julio de 2013, se presentaron las conocidas como “Wiener’s Laws”, una colección de 15 observaciones agudas y, a menudo, con un toque de humor negro, sobre la naturaleza del error humano en la era de la automatización.

Estas leyes fueron compartidas por el Dr. Asaf Degani, ex estudiante y colaborador de Wiener, quien destacó su relevancia perdurable debido a la constante naturaleza del factor humano.

17. Cada dispositivo crea su propia oportunidad para el error humano.
18. Los dispositivos digitales ignoran los errores pequeños, pero abren la puerta a errores catastróficos.
19. Los dispositivos exóticos generan problemas exóticos.
20. La automatización no te exime de entender el sistema.
21. No necesitás saber cómo funciona; solo cómo operarlo. (¡Falso!)
22. Tarde o temprano, el sistema estará en manos de alguien que no sabe lo que está haciendo.
23. Los diseñadores sobrestiman la capacidad del operador para comprender y gestionar sistemas automatizados.
24. En aviación, no hay problema tan grave o complejo que no pueda ser atribuido al piloto.
25. La invención es la madre de la necesidad. (Parodiando el dicho tradicional “la necesidad es la madre de la invención”, para evidenciar cómo creamos sistemas y después inventamos problemas nuevos que justifican su existencia.)
26. Si existe una manera de que un piloto haga algo mal, tarde o temprano, alguien lo hará.
27. El sistema más simple es el más confiable.
28. Cuanto más complejo es el sistema, más fallas latentes contendrá.
29. Lo único más peligroso que un piloto volando un avión que no entiende, es un piloto que cree que lo entiende.
30. Lo que aún no falló, está esperando fallar.
31. Los pilotos son el respaldo del sistema. Y también el respaldo del respaldo.

Estas leyes no son un llamado a rechazar la automatización. Todo lo contrario: son un llamado urgente a integrarla con pensamiento crítico. En un mundo cada vez más gobernado por algoritmos, recordar las advertencias de Wiener es un acto de responsabilidad profesional.

Si vamos a volar con inteligencia artificial, que sea con inteligencia humana amplificada, no suplantada.

Earl L. Wiener fue piloto de la Fuerza Aérea de los EE.UU. y más tarde psicólogo aeronáutico de la NASA y la Universidad de Miami. Su trabajo en factores humanos y automatización en cabina marcó un antes y un después. Estas 31 “leyes”, más aforismos que leyes en sentido estricto, condensan décadas de observación empírica sobre cómo interactúan los seres humanos con la tecnología avanzada, particularmente en entornos complejos y de alta responsabilidad, como lo es la aviación.

¡vade retro!

En un contexto donde la inteligencia artificial y la digitalización amenazan con desplazar al piloto como centro del sistema, estas leyes son un faro que nos recuerda algo esencial: volar sigue siendo una actividad profundamente humana.

Automatizar no es delegar el juicio; es compartirlo.

Y mal automatizar, es perderlo.

Lo que más me inquieta es que, en nuestro afán por diseñar máquinas perfectas, seguimos dejando al ser humano con aquellas tareas que no sabemos automatizar, por lo menos por ahora.

Eso no es eficiencia: es una receta para el error.

El operador humano se convierte en el “backup” de un sistema que no comprende del todo y que tampoco puede anticipar, lindo panorama para ir comprando el talonario de números del sorteo de un accidente.

No estoy en contra del progreso ¡vade retro!

La aviación misma es fruto de él. Pero sí creo que hay que redefinir el sentido del control.

No se trata de rechazar la IA (ni buena ni mala, simplemente existe), sino de exigirle un nuevo contrato: que esté a nuestro servicio, que amplifique nuestras fortalezas, y que nunca nos excluya del proceso de decisión.

Porque si perdemos eso, dejamos de volar… y empezamos a ser transportados.

Ningún dilema técnico viene sin un dilema ético escondido adentro. Como escribió Charly García, con otra intención, pero que hoy resignifico:

«…pero los dinosaurios van a desaparecer.» (Charly García, 1983)

En este nuevo cielo digital, los que no se adapten, con pensamiento crítico y formación, van a quedar fuera. No hay lugar para el piloto que no entiende el sistema. Ni para la máquina que no entiende al humano.

Adaptarse no es someterse: es entender.

Volar con IA exige algo más que saber qué botón apretar. Exige criterio. Conciencia.

Una pregunta que nunca debemos dejar de hacernos:

¿Quién tiene el mando?

Por Roberto J. Gómez

rjg@flap152.com