The Albany Gazette - El funcionamiento de la IA es un enigma, incluso para sus creadores

"Quienes no se dedican al sector suelen sorprenderse y alarmarse al descubrir que no entendemos cómo funcionan nuestras propias creaciones de IA", escribió Dario Amodei, cofundador de Anthropic, en un ensayo publicado en internet en abril.

"Esta falta de comprensión no tiene precedentes en la historia de la tecnología".

A diferencia de los programas de software tradicionales, que siguen rutas lógicas preestablecidas dictadas por los programadores, los modelos de IA generativa (IA gen) son entrenados para encontrar su propio camino al éxito una vez que reciben un pedido.

En un pódcast reciente, Chris Olah, quien formó parte de OpenAI (creador de ChatGPT) antes de unirse a Anthropic, describió la IA gen como un "andamio" sobre el que crecen los circuitos.

Olah es considerado una autoridad en la llamada interpretabilidad mecanicista, un método de ingeniería inversa para comprender cómo funcionan los modelos de IA.

Esta ciencia, nacida hace aproximadamente una década, busca determinar exactamente cómo la IA llega de una pregunta a una respuesta.

"Comprender la totalidad de un modelo de lenguaje extenso es una tarea increíblemente ambiciosa", dijo a la AFP Neel Nanda, investigador principal del laboratorio de IA DeepMind de Google.

Es "en cierto modo análogo a intentar comprender completamente el cerebro humano", algo que los neurocientíficos aún no han logrado, añadió Nanda.

Explorar las mentes digitales para comprender su funcionamiento se ha transformado en un campo académico de gran interés, entre otros motivos por su potencial de tornar la IA más poderosa.

"Los estudiantes se sienten muy atraídos por ello porque perciben el impacto que puede tener", afirmó Mark Crovella, profesor de informática de la Universidad de Boston.

- Una IA honesta -

Según Crovella, la interpretabilidad mecanicista implica estudiar no solo los resultados proporcionados por la IA, sino también analizar los cálculos realizados cuando la tecnología examina las consultas.

"Se podría analizar el modelo... observar los cálculos que se están realizando e intentar comprenderlos", explicó el profesor.

La startup Goodfire utiliza software de IA capaz de representar datos en forma de pasos de razonamiento para comprender mejor el procesamiento de la IA generativa y corregir errores.

La herramienta también está diseñada para evitar que los modelos de IA se utilicen con fines maliciosos o que decidan por sí mismos engañar a los humanos sobre lo que están haciendo.

"Se siente como una carrera contrarreloj para llegar antes de que se implementen modelos de IA extremadamente inteligentes en el mundo sin comprender cómo funcionan", afirmó Eric Ho, director ejecutivo de Goodfire.

En su ensayo, Amodei afirma que los recientes avances lo volvieron optimista respecto a que la clave para descifrar completamente la IA se encontrará en dos años.

"Coincido en que para 2027, podríamos tener una interpretabilidad que detecte de forma fiable los sesgos y las intenciones dañinas de los modelos", afirmó Anh Nguyen, profesor asociado de la Universidad de Auburn.

Según Crovella, de la Universidad de Boston, "a diferencia del cerebro humano", en el caso de la IA los investigadores tienen "el equivalente a cada neurona instrumentada dentro de estos modelos".

"Todo lo que ocurre dentro del modelo lo conocemos perfectamente. Es cuestión de descubrir la forma correcta de analizarlo", afirmó el académico.

Descifrar el funcionamiento interno de la IA generativa podría allanar el camino para su adopción en áreas donde pequeños errores pueden tener consecuencias drásticas, como la seguridad nacional, sostiene Amodei.

Para Nanda, también podría impulsar los descubrimientos humanos, de forma similar a cómo el modelo AlphaZero, de DeepMind, reveló jugadas de ajedrez completamente nuevas.

Bien entendido, un modelo de IA generativa con un sello de fiabilidad obtendría una ventaja competitiva en el mercado.

Un avance de este tipo por parte de una empresa estadounidense también sería una victoria para el país en su rivalidad tecnológica con China.

"Una IA potente moldeará el destino de la humanidad", escribió Amodei. "Merecemos comprender nuestras propias creaciones antes de que transformen radicalmente nuestra economía, nuestras vidas y nuestro futuro".

(D.Lewis--TAG)