# Modelos de Lenguaje (LLM / IA)

> Sistemas de inteligencia artificial entrenados con cantidades enormes de texto que predicen la siguiente palabra y, con eso, escriben, razonan, programan y conversan.

**División:** Universo · **Tipo:** tecnología · **Estado:** 🌐 contexto

## Qué es

Un LLM (Large Language Model, modelo grande de lenguaje) es un programa de IA que aprende patrones del lenguaje a partir de muchísimo texto. Por dentro hace una sola cosa simple repetida millones de veces: dada una secuencia de palabras, predice cuál viene después. De esa mecánica básica emergen capacidades que parecen inteligencia: redactar, resumir, traducir, escribir código, responder preguntas y razonar paso a paso.

No "busca" respuestas en una base de datos; las **genera** prediciendo, una pieza a la vez (cada pieza se llama *token*). Por eso a veces inventa cosas que suenan ciertas pero no lo son — lo que se conoce como "alucinación". Trabaja dentro de una **ventana de contexto**: la cantidad de texto que puede tener "a la vista" al mismo tiempo. Y se controla con un *prompt* (las instrucciones que le das).

Ejemplos conocidos: Claude (Anthropic), GPT (OpenAI), Gemini (Google), Llama (Meta). FractAIll usa modelos de este tipo como cerebro de sus asistentes y agentes.

## Por qué importa en el universo FractAIll

Los LLM son el motor cognitivo de buena parte del ecosistema. pAyA, el agente IA propio de FractAIll, es un LLM puesto a trabajar sobre infraestructura propia para reducir dependencia de un solo proveedor. Ruta99 es precisamente un router de modelos: enruta peticiones a distintos LLM aplicando además un filtro de compresión SoF. Dentro de IndexVid, los modelos analizan transcripciones y comentarios para destilar conceptos replicables.

La doctrina SoF existe en parte por los LLM: comprimir documentos a seis capas semánticas hace que un modelo entienda un sistema entero gastando muchísimo menos contexto. Es decir, SoF no es solo orden para humanos — es densidad pensada para que la IA cargue más significado en su ventana limitada. El lenguaje ShoF lleva esa idea al código que la IA escribe y lee.

## Mapa SoF · capas y componentes

- **1 Objetivo** · Convertir lenguaje en una herramienta de propósito general: que una máquina pueda leer, escribir, razonar y actuar sobre texto como lo haría un colaborador.
- **2 Visión** · Un sistema entrenado una vez y reutilizable mil veces, capaz de generalizar a tareas que nunca vio, guiado solo con instrucciones en lenguaje natural.
- **3 Estructura** · Tokenizador (parte el texto en piezas) · red neuronal Transformer (capas de atención) · pesos del modelo (lo aprendido) · ventana de contexto · prompt del usuario.
- **4 Funcionamiento** · Recibe un prompt, lo convierte en tokens, calcula probabilidades y genera el siguiente token, lo agrega y repite hasta terminar. Parámetros como la "temperatura" regulan cuánta variedad permite.
- **5 Fondo** · Entrenamiento sobre billones de tokens en GPUs/TPUs; arquitectura Transformer con mecanismo de atención; ajuste fino y alineamiento (RLHF, constitutional AI) para hacerlo útil y seguro.
- **6 Distribución** · Vía API (servicios en la nube por token), modelos abiertos descargables, o integrados en apps y agentes que la gente usa sin ver el modelo.

**Lectura fractal:** tomemos un solo componente, el **mecanismo de atención** (el corazón del Transformer). También se abre en seis capas: su *objetivo* es decidir, para cada palabra, qué otras palabras del texto importan más; su *visión* es ponderar relaciones a cualquier distancia sin perder el hilo; su *estructura* son las matrices de consulta, clave y valor; su *funcionamiento* es calcular qué tanto "atiende" cada token a los demás; su *fondo* son multiplicaciones de matrices optimizadas en hardware paralelo; y su *distribución* es estar replicado en decenas de capas apiladas que forman el modelo completo. El patrón SoF se repite hasta en el ladrillo más pequeño de la IA.

## Aprende más

- [Anthropic — qué es un LLM](https://www.anthropic.com)
- ["Attention Is All You Need" (paper fundacional del Transformer)](https://arxiv.org/abs/1706.03762)
- [Hugging Face — curso de modelos de lenguaje](https://huggingface.co/learn)