ChatGPT no memoriza Internet

Una de las cosas que más me molesta es cuando la gente actúa como si la inteligencia artificial fuera algo místico que solo pueden entender quienes estudiaron en Stanford o Harvard. No es así. No es ciencia espacial y sí es el futuro, por lo que todos necesitamos comprender cómo funciona.

En mi último video mencioné que ChatGPT-4 solo ha sido entrenado con información hasta octubre de 2023. Un usuario señaló correctamente que ahora puede acceder a la web, por lo que tiene información actualizada. Es un excelente punto, pero estamos hablando de dos cosas ligeramente diferentes, y es importante entender la diferencia.

Los modelos de lenguaje (LLM) son esencialmente máquinas de predicción de palabras. Han leído todos los libros escritos y prácticamente todo el internet público hasta octubre de 2023. Por eso son muy buenos prediciendo qué palabras siguen a otras, porque han visto millones de ejemplos en textos previos.

Un modelo como ChatGPT aprende qué palabras siguen a otras entrenándose con enormes conjuntos de datos, como libros y páginas web. Pero ese entrenamiento requiere mucho tiempo y un gran poder de cómputo. Cada vez que OpenAI repite este proceso, lanza un nuevo modelo, como GPT-4.0, el más reciente. En cada nueva versión, la fecha de los datos de entrenamiento se actualiza, por lo que tal vez el próximo modelo incluya información hasta agosto de 2024.

Sin embargo, cuando hablamos de que ChatGPT busca información en la web en tiempo real, eso no tiene nada que ver con su entrenamiento ni con mejorar sus respuestas futuras. Cuando escribes una pregunta y aparece el mensaje "buscando en internet con Bing", lo que realmente está haciendo es buscar palabras clave en la web y recuperar información relevante para generar una mejor respuesta basada en predicción de palabras.

Este mecanismo es solo un apoyo adicional, porque el modelo en sí no tiene información posterior a septiembre de 2023. Además, cuando se dice que un modelo ha sido "entrenado en internet", no significa que haya indexado toda la web o que recuerde hechos concretos. No es Google, no tiene un índice de eventos históricos reales.

ChatGPT no sabe la diferencia entre la batalla de Gettysburg y la Segunda Guerra Mundial como lo haría una persona. No es Wikipedia. Lo que sí ha visto es la palabra "Abraham" seguida de "Lincoln" muchas veces, y probablemente también ha visto "Gettysburg" después. Por eso puede generar respuestas que parecen sobre la Guerra Civil. De la misma manera, ha visto "Nazi" seguido de "Alemania" en muchas ocasiones, por lo que puede generar respuestas que parecen relacionadas con la Segunda Guerra Mundial.

No hay una búsqueda real ni un proceso de indexación. Cuando ChatGPT da respuestas que suenan históricamente precisas, simplemente está haciendo una muy buena predicción de qué palabras deberían seguir a otras, basándose en los patrones que ha aprendido.