Qué es: las manos y los ojos del Mac. Un servidor MCP local que permite a la IA ver la pantalla (captura + lectura OCR), operar cualquier app (clics, teclado, ventanas), mandar órdenes directas a las apps FractAIll por sus puentes de archivo, y ejecutar planes completos él solo sin consultar a la IA por cada acción. Implementa la spec del Operador (~/FractAIL-storage/operator/OPERATOR.md).
Fuente: ~/Documents/Claude/Projects/BaseMaker BETA/fractaill-control-mcp/server.py · Overlay visual: ControlHUD (~/FractAIL-storage/control-hud/).
Las 5 familias de herramientas
1. Ojos — screenshot, read_text (OCR con cajas clicables), find_text, ventanas, logs y crash reports.
2. Manos — click, type_text, key, drag, scroll, portapapeles, abrir/activar apps, AppleScript, shell.
3. Escenario — escenario(app): prepara la pantalla (app grande a la izquierda, Claude al mínimo a la derecha, marco púrpura encendido) verificando el resultado con las ventanas reales. restaurar() o Esc devuelven todo a la normalidad.
4. Cartero de puentes — puente(app, cmd): órdenes por archivo a FullFrame/IndexBase (inbox/outbox NDJSON) en una sola llamada. Directorio: ~/FractAIL-storage/config/puentes.json. Regla: si existe orden de puente, va antes que clics.
5. Ejecutor de planes — plan(pasos): la IA escribe el plan una vez y Control lo ejecuta solo, paso a paso, verificando con OCR y mostrándolo en el HUD; si algo se sale del guion, se detiene y devuelve el paso exacto + captura. ~15× más rápido (−93%) que acción-por-acción; los pasos locales cuestan 0 tokens.
Reglas permanentes (Juan 2026-07-11)
- Plan antes de actuar: para secuencias de 2+ pasos se establece el plan completo con
plan(pasos)antes de tocar la pantalla — cero consultas a la IA por acción. Acciones sueltas solo para explorar; a la tercera seguida, Control lo recuerda solo. Preferencia: puente → plan → acción suelta. - Toda interacción con el equipo enciende el modo control: marco púrpura de pantalla completa + ventana de Claude al ancho mínimo. Automático.
- Esc apaga el marco al instante y restaura las ventanas movidas.
- La app operada siempre va grande; Claude nunca estorba.
Referencia completa
Mapa de herramientas, ejemplos y gotchas (Spaces, anchos mínimos, auto-lectura del HUD): ~/FractAIL-storage/kb/fractaill-control-mapa.md.
Wiki FractAIll