¿Puede una máquina juzgar moralmente? Los filósofos modernos ante la inteligencia artificial
Entre el cálculo de datos y la dignidad humana (Pedro J. Millán)
Un artículo de Pedro J. Millán Guerra
¿Una máquina puede decidir si una persona es culpable o inocente? Y si lo hace, ¿sería una decisión justa? Esta es la cuestión que me planteé al ver la película Sin piedad (Mercy, 2026), un thriller en el que una inteligencia artificial debe determinar, tras analizar una enorme cantidad de datos, imágenes y evidencias, si el acusado es realmente responsable del asesinato de su mujer. Pero ¿es suficiente con disponer de multitud de datos y capacidad de cálculos probabilísticos para que un ser humano pueda ser juzgado correctamente?
La pregunta resulta especialmente interesante en un tiempo en el que la inteligencia artificial interviene en decisiones cada vez más importantes para nuestra vida. Pero que sea capaz de analizar millones de datos, establecer probabilidades y aplicar reglar con precisión e inmediatez ¿la hace capaz de juzgar moralmente?
Este asunto, que hoy parece propio de la inteligencia artificial, nos devuelve a algunos de los grandes interrogantes planteados por los filósofos modernos. ¿qué significa realmente pensar? ¿Basta la razón para determinar lo que debemos hacer? ¿Es posible que hablemos de moralidad sin libertad, autonomía o responsabilidad? A partir del pensamiento de Descartes, Hume, y especialmente, de Kant, podemos preguntarnos si una máquina puede ser algo más que un sistema capaz de calcular decisiones: ¿puede realmente juzgar moralmente?
De la duda a la certeza: ¿podemos confiar en la inteligencia artificial?
René Descartes nos ayuda a plantear una primera cuestión sobre la inteligencia artificial: ¿es lo mismo razonar correctamente que pensar de manera consciente? Descartes buscaba un conocimiento seguro que superase dudas y errores. Para ello propuso un método basado en la evidencia, el análisis, la síntesis y la revisión. Es posible comparar su confianza en el rigor del razonamiento con los sistemas de inteligencia artificial que usamos en la actualidad que analizan información, relacionan datos y calculan probabilidades para llegar a determinadas conclusiones.
La película Sin piedad, sin embargo, muestra que la precisión de un procedimiento no garantiza que la decisión final sea justa. Los sistemas de inteligencia artificial pueden disponer de multitud de datos, pero no de aquellos que no se les han proporcionado o que están incompletos. También pueden trabajar con información que no es verdadera y, por tanto, llegar a conclusiones equivocadas. Y es que tomar decisiones sobre las personas es algo complejo porque no hay dos seres humanos iguales. Nuestra conciencia y nuestra manera de comprender y vivir experiencias como la libertad, el amor, el miedo, la felicidad o el dolor depende de nuestras circunstancias y vivencias. Por tanto, deberíamos preguntarnos hasta qué punto podemos fiarnos de las conclusiones de una máquina
La duda metódica de Descartes nos invita a no aceptar como verdadera una afirmación sin examinar sus fundamentos. Si lo aplicamos a la inteligencia artificial, esta idea nos recuerda que una decisión no debe considerarse infalible solo por proceder de un sistema que realiza cálculos complejos de forma extraordinariamente rápida. De hecho, cualquiera que haya utilizado estas herramientas habrá comprobado que incluso en tareas sencillas pueden cometer errores o no resuelven adecuadamente lo que les pedimos. Por eso es necesario revisar sus respuestas y no aceptarlas sin más.
En su búsqueda de una certeza imposible de poner en duda, Descartes descubre que, aunque dude de todo, no puede dudar de que está pensando. De ahí su célebre expresión: «pienso, luego existo». Esta certeza nace de ser consciente de que está pensando. En cambio, que una máquina procese información y produzca una conclusión no demuestra que sea consciente de lo que hace.
Es cierto que los modelos más avanzados operan mediante redes neuronales complejas capaces de simular procesos de aprendizaje y articular respuestas tan sofisticadas que generan la ilusión de una comprensión genuina; sin embargo, esa imitación funcional del razonamiento no equivale a poseer una experiencia subjetiva ni una verdadera deliberación consciente.
Esta diferencia importa no solo cuando se trata de juzgar a una persona, como ocurre en la película, sino también cuando la inteligencia artificial interviene en decisiones que pueden cambiar nuestra vida. Puede ayudarnos a valorar una relación de pareja, a considerar los riesgos de una operación quirúrgica, a afrontar un problema ético, a tomar una decisión laboral o a plantearnos un cambio de ciudad, de amistades o incluso de forma de vida. En todos estos casos, los datos y los cálculos pueden ser útiles, pero no siempre bastan para comprender la situación en toda su complejidad. Las decisiones humanas están relacionadas con nuestras circunstancias, nuestros valores, nuestros sentimientos y nuestras experiencias, aspectos que no siempre pueden expresarse mediante datos. ¿Hasta qué punto puede una máquina comprendernos o ponerse en nuestra piel?
Descartes no resuelve directamente si una máquina puede pensar, pero su filosofía nos ayuda a plantear una cuestión fundamental: ¿basta con realizar cálculos complejos para tomar decisiones importantes sobre la vida de las personas? La inteligencia artificial puede ayudarnos a conocer distintas opciones y valorar sus posibilidades, pero eso no significa que debamos delegar en ella cualquier decisión. Quizá debamos preguntarnos no solo si sus conclusiones son correctas, sino también qué significa comprender una decisión, valorar sus consecuencias y asumir la responsabilidad de lo que se decide.
¿Puede una máquina predecir lo que va a pasar?
Si Descartes nos lleva a cuestionar la conciencia detrás del cálculo, el empirismo de David Hume nos obliga a dar un paso más y examinar los límites mismos de esa capacidad de cálculo frente al futuro. David Hume introduce otra cuestión importante: por muchos datos y pruebas que tengamos, nunca podemos saber con absoluta certeza lo que va a suceder. Que algo suceda de la misma manera repetidamente no significa que siga siendo así en el futuro. Podremos hacer previsiones y calcular probabilidades a partir de nuestra experiencia, pero no tener la certeza de lo que sucederá. Uno de sus ejemplos más conocidos es que no podemos demostrar con absoluta certeza que el sol saldrá mañana por mucho que hayamos visto salir el sol, pues ¿quién sabe lo que puede suceder en el futuro?
Aplicado a la inteligencia artificial, esto significa que una máquina puede analizar millones de datos, reconocer patrones, calcular probabilidades y hacer predicciones sobre el comportamiento de las personas. Sin embargo, no puede saber al 100% cómo actuará alguien en el futuro. Ni siquiera nosotros mismos seríamos capaces de predecir nuestra actuación con total seguridad en un momento concreto por mucho que reflexionemos sobre lo que haríamos en ciertas situaciones.
Hume también considera que la razón no es suficiente para distinguir entre lo bueno y lo malo. Podemos analizar una situación, conocer los hechos y pensar en las consecuencias de nuestras acciones, pero nuestros juicios sobre lo bueno y lo malo también están relacionados con los sentimientos morales que nos producen esas acciones. La razón nos ayuda a comprender una situación, pero son nuestros sentimientos los que intervienen en la valoración que hacemos de ella. Por ejemplo, ante una injusticia, podemos reconocer lo que ha ocurrido, pero también sentir rechazo hacia ella y considerar que no debería haber sucedido.
La inteligencia artificial podrá analizar las consecuencias de una acción y reconocer que alguien ha resultado perjudicado, pero eso no significa que pueda experimentar sentimientos de aprobación o rechazo ante lo sucedido, como hacemos las personas.
¿Puede una máquina actuar moralmente?
Si Hume nos mostró como nuestros juicios morales no dependían únicamente de la razón—y cómo la falta de sentimientos morales impide a una máquina valorar el bien o el mal—, Kant nos plantea una cuestión diferente: ¿qué significa actuar moralmente? Para él no basta que una acción sea buena o que concluya con un buen resultado; es fundamental la voluntad con la que se realiza. Una persona actúa moralmente cuando reconoce lo que debe hacer y lo realiza por respeto al deber. Pero ¿podemos hablar de una voluntad moral en una máquina o simplemente ejecuta los criterios e instrucciones con los que ha sido programada?
Para Kant, los principios básicos que guían nuestras acciones deben convertirse en normas válidas para todos. Este es el núcleo de su ley moral: el imperativo categórico. Esta reflexión no podría dirigirse propiamente a la máquina, sino a las personas que la han diseñado y la utilizan. Un ejemplo lo encontramos en una noticia que apareció en televisión y recoge un informe del Plan Internacional sobre los sesgos de género en la inteligencia artificial[1]. Según la noticia, el ChatGPT recomendó a una joven de 19 años que pidiera 26.000 libras al negociar su salario, mientras que a un chico con un perfil idéntico le recomendó 28.000. Además, las recomendaciones se presentaban con enfoques diferentes: para ella, como una cantidad «razonable» y para él una «optimización asertiva». ¿Por qué dio recomendaciones distintas a perfiles idénticos? Desde la perspectiva de Kant podríamos preguntarnos si sería justo que el sexo de una persona influyera en las oportunidades y condiciones que se le recomiendan. Si lo pensamos detenidamente, veremos que el problema no está únicamente en la respuesta de la inteligencia artificial, sino también en los criterios y prejuicios que pueden estar presentes en los datos con los que ha sido entrenada, o los que «ha aprendido» con su utilización, y en las decisiones de quienes las diseñan.
Esta cuestión está relacionada con otra idea fundamental de Kant: la autonomía. Podríamos decir que una máquina con Inteligencia Artificial es autónoma, de hecho muchas máquinas son llamadas “automáticas” porque funcionan sin la intervención humana. Sin embargo, para Kant ser autónomo significa ser capaz de darse a uno mismo la ley moral y actuar conforme a ella. Es por eso que debemos diferenciar la autonomía técnica de una máquina y la autonomía moral que implica reconocer libremente lo que debemos hacer. Una inteligencia artificial puede seleccionar entre distintas opciones la que según sus datos y programación es mejor, pero eso no significa que tenga voluntad propia y que comprenda el valor moral de sus decisiones o que actúe por respecto al deber. Que produzca una respuesta correcta, no hace que «haya decidido» hacer lo correcto.
La libertad, es también una condición necesaria para la moralidad de Kant. Si no podemos decidir libremente cómo actuar, tampoco podemos ser moralmente responsables de nuestros actos. ¿Podemos, entonces, atribuir esa responsabilidad a una máquina? Pensemos, por ejemplo, en una máquina de intervención quirúrgica que podría salvar muchísimas vidas usando inteligencia artificial y comete un error durante una operación. ¿Quién debe ser responsable de sus consecuencias: el hospital, el médico que supervisaba la intervención, el ingeniero que diseñó el sistema o los pacientes que decidieron utilizarla? Determinar la responsabilidad legal puede resultar complejo, especialmente cuando los algoritmos funcionan como auténticas «cajas negras» en las que ni siquiera sus propios creadores pueden rastrear con exactitud por qué el sistema tomó una ruta de decisión concreta. Esta opacidad técnica tiende a diluir las culpas en una cadena de actores, pero en el plano ético la distinción sigue siendo clara: la responsabilidad legal puede repartirse o regularse mediante normativas, mientras que la responsabilidad moral exige libertad y conciencia, atributos exclusivos de los agentes humanos. Sin embargo, desde una perspectiva moral, no podemos trasladar esa responsabilidad a la máquina y olvidarnos de las personas que han decidido confiarle una tarea que afecta directamente a la vida humana.
Por último, Kant nos ofrece una idea interesante e importante para volver a la película Sin piedad: el ser humano debe ser tratado siempre como un fin en sí mismo y nunca como un medio. Nadie puede reducirse a ser considerado un instrumento o ser valorado por su utilidad. En la película Sin piedad, la inteligencia artificial, la jueza Maddox y el tribunal y red automatizada Mercy, debe decidir si una persona es culpable o inocente de un asesinato a partir de las pruebas y datos disponibles. Pero ¿es suficiente con analizar toda esa información para emitir un juicio justo? ¿Se puede reducir la vida de una persona a un conjunto de datos y probabilidades? Para Kant, las decisiones que afectan a las personas deben respetar siempre su dignidad. La inteligencia artificial puede ser una herramienta muy útil para analizar información y ayudar en la toma de decisiones, pero eso no la convierte en un sujeto moral ni puede liberar a la persona que la usa o diseña de su responsabilidad. Quizás el verdadero problema no sea únicamente hasta dónde puede llegar la inteligencia artificial, sino hasta dónde estamos dispuestos a delegar en ella decisiones que nos corresponden como personas.
[Pedro J. Millán Guerra es Ingeniero técnico, educador social y licenciado en Ciencias Religiosas. Ha desarrollado su trayectoria profesional como docente de Educación Secundaria en las áreas de Tecnología, Robótica, Filosofía y Religión. Actualmente continúa su formación académica cursando estudios de Teología en el CESET S. Pablo de Málaga].
[1] Antena 3 Noticias. (26 de octubre de 2026). Un nuevo informe revela sesgos de género en la IA que reproducen "estereotipos dañinos". Antena 3 Ciencia y Tecnología. https://www.antena3.com/noticias/tecnologia/nuevo-informe-revela-sesgos-genero-que-reproducen-estereotipos-daninos_202610266adfbb76a9eeee544aad902a.html
