Explainable artificial intelligence (XAI):

La Inteligencia Artificial Explicable (XAI) aborda la necesidad de clarificar cómo y por qué los modelos de IA toman decisiones, lo cual resulta crucial tanto para la depuración técnica como para satisfacer demandas legales y éticas de transparencia. La opacidad de estos modelos particularmente en redes neuronales profundas y otros sistemas complejos de machine learning plantea riesgos de incomprensión y falta de confiabilidad, especialmente cuando las decisiones afectan derechos humanos. Para afrontar esta opacidad, se han desarrollado métodos de interpretación, como mapas de calor y aproximaciones contrafácticas, que intentan identificar elementos clave en las decisiones, pero enfrentan limitaciones significativas: no ofrecen explicaciones generalizables y son sensibles a ataques adversariales que pueden manipular sus predicciones. Ante esto, los modelos proxy se emplean para brindar una representación simplificada y más comprensible de los modelos originales, pero también presentan desafíos éticos, pues pueden ofrecer una explicación simplificada y, a menudo, inexacta, de la lógica subyacente en modelos complejos. Aunque útiles, estos modelos pueden inducir interpretaciones erróneas y dar una falsa percepción de seguridad y comprensión, especialmente en aplicaciones sensibles como medicina y justicia, donde el balance entre precisión y comprensibilidad sigue siendo un desafío clave.