Page 53 - Auditoría Pública Nº 85

¿Sueñan los auditores con ovejas eléctricas? (Los auditores frente a la inteligencia artificial)

Ilustración 1.
Significado de GPT.

Tanto los GPT como otros modelos que utilizan los mo- En la ilustración 2 se muestra el proceso que siguen,
delos de Transformers, basados en la arquitectura de en general, los modelos de Transformers . Como ya se
5
atención, han permitido una mejora sin precedentes en ha mencionado, los LLM primero transforman las pala-
la generación de texto, en la traducción automática y en bras en tokens, la vectorizan y después pasan primero
el mantenimiento de conversaciones. por el codificador que, entre otras funciones, procesa
los tokens y establece relaciones y, finalmente, por el
En la década de 2020 los últimos modelos de GPT de decodificador que, mediante la utilización del cálculo de
OpenAI y BERT de Google (Bidirectional Encoder Re- probabilidades, genera secuencias de lenguaje natural.
presentations from Transformers) o el chino Deepseek
ya pueden generar texto coherente, traducir idiomas y La ilustración 3 muestra de manera logarítmica el creci-
responder a preguntas con una precisión casi mágica . miento exponencial en el número de parámetros utiliza-
4
Además, estos nuevos modelos no se basan sólo en tex- dos en los diferentes modelos de GPT, desde el GPT-1
to, sino que son modelos de lenguaje multimodales, es hasta el GPT-4. Como vemos los parámetros utilizados
decir; aquellos que pueden recibir como input, textos, en el GPT.4 prácticamente supera el número de estrellas
imágenes, voz, video y otros tipos de datos. estimado en la Vía Láctea. Conviene apuntar que Deep-
seek en muchos aspectos supera al modelo GPT4 y, al
Los denominados Large Languaje Model (LLM) son mo- contrario que este, se presenta en código abierto, todo
delos de inteligencia artificial, basados en Transformers, ello teniendo sin perder de vista los matices políticos
entrenados con una inmensa cantidad de datos de texto que las dos IA presentan.
que pueden incluir miles de millones de palabras.

4 Arthur C. Clarke: “Cualquier tecnología suficientemente avanzada es indistinguible de la magia” .
5 Marina Palomino Bravo. Los Grandes Modelos del Lenguaje basados en Transformers: revisión y aplicación práctica con ChatGPT. ComillasUniversidad Pontifica. https://
repositorio.comillas.edu/jspui/retrieve/625432/TFG-Palomino%20Bravo,%20Marina.pdf

53