Nueva función de Claude Code: la IA controla directamente la pantalla de tu Mac, desde escribir código en la terminal hasta hacer pruebas de extremo a extremo con un solo flujo

ChainNewsAbmedia

Anthropic lanzó una nueva función «Computer Use» (control del ordenador) para su herramienta de agente de código de IA Claude Code. Esta función se ofrece a los usuarios de macOS en forma de Research Preview (vista previa de investigación). Esta función permite que Claude controle directamente la pantalla del ordenador del usuario: abrir aplicaciones, hacer clic en botones, introducir texto, capturar capturas de pantalla, y encadenar en una misma conversación el flujo de trabajo completo, desde escribir código hasta las pruebas de UI, sin necesidad de salir de la terminal.

¿Qué puede ayudarte Claude a «hacer clic»?

Según la documentación técnica oficial, Computer Use está principalmente orientado a tareas que requieren una interfaz gráfica (GUI), es decir, aquellas cosas que normalmente tendrías que dejar la terminal y hacer tú mismo:

Construir y validar aplicaciones nativas: pídele a Claude que escriba una app de barra de menú para macOS; ella compilará, iniciará y hará clic una por una en todos los controles para confirmar que la funcionalidad funciona correctamente; ni siquiera habrás abierto esa app.

Pruebas de UI de extremo a extremo: señala una aplicación local de Electron y dile «prueba el flujo de onboarding de los usuarios nuevos». Claude abrirá la app, hará clic en los pasos de registro y tomará una captura de cada pantalla. No necesitas configuración de Playwright, ni un framework de pruebas.

Depuración de problemas visuales y de maquetación: dile a Claude «este Modal quedó recortado en una ventana pequeña»; ella reducirá el tamaño de la ventana para reproducir el bug, tomará capturas, modificará el CSS y volverá a confirmar el resultado de la corrección; ella ve la pantalla que tú ves.

Herramientas que solo tienen GUI: herramientas de diseño, paneles de control de hardware, iOS Simulator, o cualquier software propietario que no tenga CLI ni API.

Orden de prioridad para elegir las herramientas de Claude

Computer Use es la herramienta «más amplia y más lenta», y Claude elegirá la forma más precisa según este orden de prioridades:

Si hay un MCP Server correspondiente → usar MCP

Si es un comando de Shell → usar Bash

Si son operaciones del navegador y existe una configuración de Claude in Chrome → usar la extensión de Chrome

Si nada de lo anterior aplica → entonces activar Computer Use

Es decir, el control de pantalla se reserva para los escenarios en los que «las otras formas no alcanzan»: aplicaciones nativas, emuladores, o herramientas que no tienen API.

Cómo habilitar Computer Use

Computer Use se proporciona en forma de un MCP Server integrado (nombre:

computer-use

), que está desactivado de forma predeterminada; hay que habilitarlo manualmente:

En una sesión interactiva de trabajo de Claude Code, ejecuta /mcp; busca computer-use (se muestra como desactivado) en la lista

Después de seleccionarlo, haz clic en Enable; la configuración se guardará de forma persistente por proyecto y solo necesitas configurarla una vez por cada proyecto

La primera vez que permitas que Claude controle el ordenador, macOS pedirá conceder dos permisos: Accesibilidad (Accessibility) y Grabación de pantalla (Screen Recording). Después de autorizar, selecciona «Intentar de nuevo»; en algunos casos, hay que reiniciar Claude Code

Cada sesión de trabajo requiere autorizar las apps una por una

Habilitar

computer-use

no significa que Claude pueda controlar todas las apps en tu ordenador. Cada vez que en una sesión de trabajo Claude necesite controlar por primera vez una app, la terminal mostrará un aviso con:

Qué apps Claude quiere controlar

Si hay solicitudes adicionales de permisos (como acceso al portapapeles)

Cuántas otras apps se ocultarán durante el trabajo

Elige «Permitir para esta sesión» o «Rechazar»; la autorización solo es válida en la sesión de trabajo actual. Para apps con acceso amplio a la configuración del sistema, el sistema también mostrará un aviso adicional:

Cómo trabajará Claude en tu pantalla

Bloqueo exclusivo de toda la máquina: después de que Computer Use se inicie, obtendrá un candado de exclusión a nivel de máquina; si otra sesión de Claude Code ya está usando el ordenador, las nuevas solicitudes fallarán y se indicará que primero finalices la otra sesión.

Apps ocultas temporalmente: cuando Claude comience a controlar la pantalla, las apps visibles no autorizadas se ocultarán para asegurar que Claude solo interactúe con las apps autorizadas. La ventana de tu terminal se mantiene visible y no será capturada; puedes monitorear en tiempo real y Claude no puede ver su propia salida. Cuando Claude termine, las apps ocultas se restaurarán automáticamente.

Interrupción en cualquier momento: después de que Claude obtenga el candado, macOS mostrará la notificación «Claude is using your computer · press Esc to stop». Pulsa

Esc

o en la terminal presiona Ctrl+C para interrumpir inmediatamente. Claude liberará el candado, restaurará todas las apps y devolverá el control.

Mecanismos de seguridad y límites de confianza

La documentación oficial enfatiza especialmente que, a diferencia de las herramientas de Bash en sandbox, Computer Use se ejecuta directamente en tu entorno de escritorio, por lo que el límite de confianza es diferente. Las salvaguardas integradas incluyen:

Autorización por app: Claude solo puede controlar las apps que hayas autorizado explícitamente en la sesión de trabajo actual

Aviso de centinela: las apps que reciban permisos de acceso a Shell, al sistema de archivos o a la configuración del sistema se marcarán especialmente antes de la autorización

Inyección de avisos con detección automática: Claude revisa el contenido en la pantalla y marca posibles ataques de inyección de prompts

Uso y limitaciones

Requiere suscripción a Pro o Max (los planes Team, Enterprise no aplican)

Requiere Claude Code v2.1.85 o superior

Actualmente solo compatible con macOS (fase de Research Preview)

Debe usarse en sesiones de trabajo interactivas; no compatible con modo no interactivo (bandera -p)

Las apps como el navegador y las plataformas de intercambio solo tienen «modo de visualización»; la terminal y el IDE son «modo de clic»; las demás apps son control completo

MacRumors señaló que, en comparación con la competencia, el Computer Use de Claude adopta un diseño con prioridades de permisos más estrictas, y actualmente solo está limitado a Mac, mientras que otros planes ya admiten macOS, Windows y Linux.

Para desarrolladores, el mayor valor de esta función es acortar el ciclo de «escribir código → probar → corregir bugs»: Claude no solo escribe código, sino que también puede ver directamente tu pantalla para validar los resultados.

Aviso de riesgo: invertir en criptomonedas conlleva un riesgo elevado; su precio puede fluctuar drásticamente y usted podría perder todo el capital. Evalúe el riesgo con cuidado.

Este artículo sobre la nueva función de Claude Code: «AI controla directamente la pantalla de tu Mac; de escribir código en la terminal a hacer clic en pruebas, todo de una sola vez» apareció por primera vez en Chain News ABMedia.

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.
Comentar
0/400
Sin comentarios