--- title: Cómo funciona realmente ChatGPT description: La mecánica real detrás de ChatGPT, explicada con claridad. Arquitectura transformer, mecanismos de atención, proceso de entrenamiento y limitaciones honestas. Sin humo: así funciona. date: February 5, 2026 author: Robert Soares category: ai-fundamentals --- Has usado ChatGPT. Quizá a diario. Pero ¿cómo funciona realmente? La respuesta honesta implica un montón de matemáticas con matrices, algunos trucos de ingeniería inteligentes de 2017 y un proceso de entrenamiento que depende de que humanos califiquen respuestas. La tecnología es notable. También es más mecánica de lo que la mayoría cree, lo que hace que tanto sus capacidades como sus fallos sean más fáciles de entender cuando ves la maquinaria. Vamos a abrirlo. ## La base: predecir la siguiente palabra En el fondo, ChatGPT hace una sola cosa. Predice la siguiente palabra en una secuencia de texto y, luego, usa esa predicción para generar la palabra siguiente, y la siguiente, y la siguiente, hasta que llega a un punto de parada. Eso es todo. Cada ensayo que escribe, cada fragmento de código que produce, cada conversación que sostiene emerge de esta única operación, realizada miles de millones de veces. Como explicó el usuario akelly en Hacker News al describir la arquitectura de ChatGPT: "Start with GPT-3, which predicts the next word in some text and is trained on all the text on the internet." Esa es la base. Todo lo demás se construye sobre la predicción de la siguiente palabra. El modelo no "piensa" en ningún sentido humano. Calcula distribuciones de probabilidad sobre su vocabulario de tokens (aproximadamente 50.000 fragmentos de palabras) y muestrea de esas distribuciones. Cuando le haces una pregunta, no está recuperando hechos almacenados de una base de datos. Está generando texto que, estadísticamente, se desprende de tu prompt según los patrones que aprendió durante el entrenamiento. Esto explica tanto sus fortalezas como sus modos de fallo extraños. Puede escribir con fluidez porque ha visto billones de palabras ordenadas en secuencias fluidas. Puede alucinar información falsa porque el texto estadísticamente plausible no es lo mismo que el texto verdadero. ## Transformers: la arquitectura que lo cambió todo ChatGPT funciona sobre una arquitectura de red neuronal llamada transformer. Investigadores de Google la introdujeron en un artículo de 2017 titulado "Attention Is All You Need". El título referencia una canción de los Beatles, pero el artículo transformó el procesamiento del lenguaje natural más que ninguna otra publicación en la historia del campo. Antes de los transformers, los modelos de lenguaje procesaban texto de forma secuencial. Palabra por palabra. Esto creaba un cuello de botella. La información del inicio de un pasaje largo se desvanecía a medida que el modelo procesaba las partes posteriores. Los enfoques anteriores basados en redes neuronales recurrentes podían, técnicamente, manejar secuencias largas, pero en la práctica les costaba. Los transformers arreglaron esto mediante un mecanismo llamado atención. ### Atención: la innovación clave ¿Qué es la atención? En un nivel simplificado, permite que cada palabra en una secuencia mire a todas las demás palabras y decida cuáles importan más para entender su significado. Considera la frase: "El gato se sentó en el sofá porque él estaba cansado." ¿A qué se refiere "él"? Los humanos lo saben al instante: "él" se refiere al gato, no al sofá. Pero ¿cómo lo averiguaría un ordenador? Con atención, el modelo calcula puntuaciones entre "él" y cada una de las demás palabras de la frase. La palabra "gato" obtiene una puntuación de atención alta porque, a lo largo de los miles de millones de ejemplos que el modelo vio durante el entrenamiento, los pronombres en posiciones similares suelen referirse a sustantivos animados como "gato" en lugar de sustantivos inanimados como "sofá". En una [discusión de Hacker News sobre la arquitectura GPT](https://news.ycombinator.com/item?id=33942597), el usuario yunwal describió el mecanismo query-key así: "Q (Query) is like a search query. K (Key) is like a set of tags or attributes of each word." Cada palabra hace una pregunta (la query) y cada palabra tiene información descriptiva (la key). El mecanismo de atención empareja queries con keys relevantes, permitiendo que palabras muy separadas en una frase influyan directamente en las representaciones de las demás. Esto ocurre a través de múltiples "cabezas de atención" a la vez, y distintas cabezas aprenden a seguir distintos tipos de relaciones: estructura sintáctica, significado semántico, correferencia y patrones a los que los humanos aún no les han puesto nombre. ### La pila de transformers Un transformer completo no es solo una capa de atención. Los modelos GPT apilan muchos bloques transformer, uno encima de otro. GPT-3 tiene 96 capas. Cada capa refina la representación del texto de entrada, construyendo una comprensión cada vez más abstracta a medida que la información fluye por la red. ¿Qué emerge de todas esas capas y cálculos de atención? Algo que casi parece comprensión, aunque esté construido por completo a partir de patrones estadísticos y álgebra lineal. El modelo desarrolla representaciones internas que capturan el significado sorprendentemente bien, pese a que nunca se le dijo explícitamente qué significan las palabras. En el mismo hilo de Hacker News, chronolitus (quien escribió un explicador visual de la arquitectura GPT) observó: "After the model is trained it all really boils down to a couple of matrix multiplications!" Técnicamente es cierto, aunque esas multiplicaciones ocurren a través de miles de millones de parámetros en arreglos cuidadosos que llevaron años de investigación descubrir. ## Entrenamiento: de dónde sale el conocimiento ¿Cómo aprende ChatGPT a hacer lo que hace? Mediante dos fases distintas, cada una esencial para el producto final. ### Fase uno: preentrenamiento Primero, el modelo se entrena con cantidades masivas de texto. Los datos exactos de entrenamiento de ChatGPT no son públicos, pero GPT-3 se entrenó con cientos de miles de millones de palabras provenientes de libros, sitios web, Wikipedia y otras fuentes de texto. El objetivo es simple: dada una secuencia de palabras, predecir la siguiente. Esto se llama aprendizaje autosupervisado porque la señal de entrenamiento viene del propio texto. Nadie tiene que etiquetar nada. El modelo simplemente lee cantidades enormes de texto y aprende a predecir qué viene después. Mediante este proceso, el modelo adquiere capacidades notables. Aprende gramática. Aprende hechos sobre el mundo (aunque de forma imperfecta). Aprende a programar porque vio millones de archivos de código. Aprende a escribir poesía porque vio poesía. Aprende cómo fluyen las conversaciones porque vio conversaciones. Como explicó el usuario ravi-delia en una [discusión sobre cómo funciona ChatGPT](https://news.ycombinator.com/item?id=33939805): "In learning to predict the next token, the model has to pick up lots of world knowledge. It has seen lots of python, and in order to predict better, it has developed internal models." Pero el preentrenamiento, por sí solo, no produce ChatGPT. Un modelo preentrenado es un motor de autocompletado. Le haces una pregunta y puede completar tu texto haciendo más preguntas, o generando cualquier otro tipo de texto que estadísticamente siga a tu entrada. No responderá de forma fiable como lo haría un asistente útil. ### Fase dos: aprendizaje por refuerzo con retroalimentación humana (RLHF) Aquí entra la salsa secreta de OpenAI. Después del preentrenamiento, ChatGPT se ajustó con retroalimentación humana. El proceso funciona más o menos así. Primero, humanos escriben conversaciones de ejemplo que demuestran cómo debería responder un asistente de IA ideal. Estos ejemplos le enseñan al modelo el formato y el estilo de respuestas útiles. Luego viene la parte ingeniosa. El modelo genera múltiples respuestas al mismo prompt. Evaluadores humanos clasifican esas respuestas de mejor a peor. Con esas clasificaciones, OpenAI entrena un "modelo de recompensa" separado que aprende a predecir cómo evaluarían los humanos cualquier respuesta dada. Por último, el modelo de lenguaje se entrena aún más para producir respuestas que puntúen alto según el modelo de recompensa. Este es el paso de aprendizaje por refuerzo: el modelo aprende a maximizar una señal de recompensa derivada de preferencias humanas. El resultado es un modelo que no solo completa texto de manera estadística. Genera respuestas que los humanos le enseñaron que son útiles, inofensivas y honestas. En ese mismo hilo de Hacker News, el usuario hcks mencionó: "I personally worked as a 'human trainer' for the fine tuning of ChatGPT. The pay was 50$ per hour." Miles de horas de juicio humano se dedicaron a hacer que ChatGPT fuera conversacional en lugar de solo generativo. ## Lo que ChatGPT puede hacer (y por qué) Dada esta arquitectura y entrenamiento, ciertas capacidades tienen sentido. **Generación de texto fluida**: El modelo vio billones de palabras. Sabe cómo suena un inglés fluido. Generar texto gramatical y coherente es exactamente aquello para lo que fue optimizado. **Seguir instrucciones**: RLHF lo entrenó específicamente para seguir prompts de forma útil. Cuando pides una lista, te da una lista. Cuando pides código, escribe código. Los evaluadores humanos recompensaban respuestas que hacían lo que el usuario pedía. **Explicar conceptos**: Ha visto millones de explicaciones de millones de temas. Cuando le pides que explique física cuántica, se apoya en patrones de todas esas explicaciones para generar una nueva, adaptada a tu pregunta. **Escribir código**: Mismo principio. Ha visto enormes cantidades de código con comentarios que explican lo que hace el código. Puede generar código que sigue esos patrones. **Traducción entre idiomas**: El modelo vio texto en muchos idiomas, a menudo con traducciones paralelas. Aprendió correspondencias entre idiomas a partir de esos datos. **Adaptarse al contexto**: El mecanismo de atención le permite seguir el contexto a lo largo de miles de tokens. "Recuerda" lo que dijiste antes en la conversación porque esa información influye directamente en sus predicciones. ## Lo que ChatGPT no puede hacer (y por qué) Las limitaciones son igual de previsibles una vez que entiendes la arquitectura. **Exactitud factual garantizada**: El modelo genera texto estadísticamente probable, no hechos verificados. Si una afirmación falsa pero verosímil encaja con los patrones estadísticos, el modelo la generará. No tiene un mecanismo separado de verificación de hechos. No tiene una base de datos de verdades verificadas. Solo patrones aprendidos de texto que incluía tanto información precisa como imprecisa. **Razonamiento matemático**: Para el modelo, los números son solo tokens. Como señaló bagels en una [discusión de Hacker News sobre la arquitectura GPT](https://news.ycombinator.com/item?id=33942597): "Numbers are just more words to the model." Puede reconocer patrones de aritmética simple que ha visto muchas veces, pero los cálculos nuevos suelen fallar porque el modelo está generando texto que se ve como matemáticas correctas, no calculando realmente. **Memoria consistente a largo plazo**: Dentro de una conversación, el contexto está limitado por la ventana de contexto del modelo (el número máximo de tokens que puede procesar de una vez). Entre conversaciones, no recuerda nada a menos que se lo indiques explícitamente. Cada conversación empieza desde cero. **Acceso a información actual**: El conocimiento del modelo proviene de datos de entrenamiento con una fecha de corte. No puede navegar por internet, acceder a bases de datos ni saber de eventos posteriores a su entrenamiento a menos que esa información esté en el prompt. **Comprensión real**: Esta es la filosófica. El modelo manipula símbolos según patrones estadísticos aprendidos. Si esto constituye "comprensión" en algún sentido significativo es algo debatido. En un [hilo sobre que los LLM están sobrevalorados](https://news.ycombinator.com/item?id=33935018), el usuario wan23 lo dijo sin rodeos: "There is a lot of knowledge encoded into the model, but there's a difference between knowing what a sunset is because you read about it on the internet vs having seen one." El modelo nunca ha experimentado nada. Solo ha visto descripciones de experiencias. En ese mismo hilo, el usuario Jack000 comparó los LLM con alienígenas sin experiencia sensorial, señalando que poseen un reconocimiento de patrones sobrehumano pero trabajan con información incompleta. Pueden procesar lenguaje mejor que cualquier sistema anterior, pero les falta el anclaje que viene de existir de verdad en el mundo. ## La escala que lo hace funcionar Parte de lo que hace eficaz a ChatGPT es la pura escala. GPT-3 tiene 175 mil millones de parámetros. GPT-4 es más grande (tamaño exacto no divulgado). Cada parámetro es un número que se ajusta durante el entrenamiento. Más parámetros implican más capacidad para almacenar y representar patrones. El cómputo de entrenamiento es descomunal. Entrenar GPT-4, según se informa, costó más de 100 millones de dólares en recursos de cómputo. El modelo vio más texto durante el entrenamiento del que cualquier humano podría leer en miles de vidas. Esta escala importa porque los transformers muestran capacidades emergentes a partir de cierto tamaño. Habilidades que no existen en modelos más pequeños aparecen de repente en modelos más grandes. El modelo no solo mejora de forma incremental en las mismas tareas. Surgen capacidades nuevas que no se entrenaron explícitamente. Por qué ocurre esto es una pregunta abierta de investigación. Pero sugiere que la arquitectura tiene margen para descubrir patrones y capacidades más allá de lo que sus diseñadores anticiparon. ## El problema de cuándo parar Algo que a menudo desconcierta a la gente: ¿cómo sabe ChatGPT cuándo dejar de generar texto? El vocabulario del modelo incluye tokens especiales. Uno de ellos representa "end of output". Como explicó el usuario amilios en el [hilo de Hacker News sobre ChatGPT](https://news.ycombinator.com/item?id=33939805): "It predicts a special end-output token, something analogous to 'EOF.'" Cuando el modelo predice este token como el siguiente token más probable, deja de generar. Esto se entrena con ejemplos. Durante el ajuste fino, el modelo ve muchos ejemplos de conversaciones donde el asistente da una respuesta completa y luego se detiene. Aprende a predecir el token de fin de salida en los puntos adecuados. ## Temperatura: controlar la aleatoriedad Cuando ChatGPT genera texto, no siempre elige el token siguiente más probable. Un parámetro llamado "temperatura" controla cuánta aleatoriedad entra en la selección. A temperatura 0, el modelo siempre elige el token de mayor probabilidad. La salida es determinista y repetitiva. A temperaturas más altas, los tokens menos probables tienen más posibilidades de ser seleccionados. La salida se vuelve más creativa, pero también más impredecible. Como explicó el usuario doctoboggan en un [hilo de Hacker News sobre GPT](https://news.ycombinator.com/item?id=39898221): "At temperature of 0 the highest probability token is chosen." Por eso puedes hacerle a ChatGPT la misma pregunta dos veces y obtener respuestas distintas. La aleatoriedad es intencional. Hace que las conversaciones se sientan más naturales y que las respuestas sean más variadas. ## Por qué todo esto importa Entender cómo funciona ChatGPT cambia cómo lo usas. Si sabes que es un motor estadístico de reconocimiento de patrones, no esperarás que tenga hechos fiables sobre temas oscuros. Verificarás afirmaciones importantes. Entenderás que "dicho con confianza" no significa "verdadero". Si sabes que se entrenó con retroalimentación humana para ser útil, entenderás por qué intenta complacerte incluso cuando debería ponerte límites. El modelo de recompensa favorecía respuestas que los humanos evaluaban alto, y los humanos a menudo evaluaban alto respuestas complacientes. Si sabes que la atención le permite seguir el contexto, usarás ese contexto de forma eficaz. Pon información importante al inicio de prompts largos. Recuérdale restricciones clave. Haz referencia a partes anteriores de la conversación. La tecnología es realmente impresionante. Representa un avance fundamental en lo que los ordenadores pueden hacer con el lenguaje. Pero no es magia. Es multiplicación de matrices a escala, entrenada con texto humano y retroalimentación humana, produciendo salidas que se parecen a la comunicación humana porque eso es lo que se optimizó para producir. ## El punto de inflexión ChatGPT no fue el primer modelo de lenguaje grande. GPT-3 salió en 2020. Pero, como observó el usuario herculity275 en un [hilo de Hacker News sobre por qué los LLM se hicieron populares de repente](https://news.ycombinator.com/item?id=34968287): "ChatGPT was the watershed moment for the tech because suddenly anyone in the world could sign up for free." Esa accesibilidad importó. El usuario jerpint añadió: "Not to mention without needing expertise to deploy the thing." La tecnología subyacente llevaba años avanzando. Los transformers salieron en 2017. GPT-2 en 2019. GPT-3 en 2020. Pero esos requerían conocimientos técnicos para acceder. ChatGPT puso la misma tecnología en una ventana de chat que cualquiera podía usar. El usuario xg15 capturó por qué esto se sintió distinto a chatbots anteriores: "Understanding text in the depth that ChatGPT (and GPT-3) appear to understand the prompts is something entirely different." Los sistemas anteriores podían generar texto fluido. Este parecía comprender. ## Una máquina que aprendió a parecer que piensa La pregunta a la que vuelvo una y otra vez: ¿qué significa que un sistema sin comprensión, sin experiencia, sin objetivos más allá de la predicción de tokens pueda producir texto así de coherente? El modelo se entrenó para predecir palabras probables. A través de ese objetivo simple, aplicado a escala enorme, desarrolló algo que se parece muchísimo a la comprensión. Puede explicar conceptos. Resolver problemas. Escribir en distintos estilos. Mantener conversaciones que se sienten naturales. Pero no hay nadie en casa. No hay experiencia detrás de las respuestas. No hay comprensión en ningún sentido que reconozcamos. Solo patrones estadísticos aprendidos de texto escrito por miles de millones de humanos que sí comprenden, que sí han vivido, que sí saben cómo se ven realmente los atardeceres. O bien hemos subestimado lo que puede lograr el aprendizaje estadístico. O bien hemos sobreestimado lo que requiere producir lenguaje coherente. Quizá la respuesta no sea una u otra.