ARTEMIS: el agente de Google que prueba apps Android solo

Su equipo lanza una versión nueva de la app y, antes de publicarla, alguien tiene que tocar cada pantalla a mano para confirmar que nada se rompió. Esa revisión manual se repite en cada release, consume horas de alguien con criterio técnico y, aun así, algo se escapa.

Google acaba de abrir el código de ARTEMIS, un agente que hace ese trabajo de otra forma: en lugar de leer el código o llamar una API, controla el teléfono igual que lo haría una persona. Toca, desliza, espera a que cargue una pantalla y sigue. La instrucción que recibe es en lenguaje natural, no un script de pruebas.

ARTEMIS controla el teléfono como lo haría una persona

Qué es ARTEMIS y qué lo distingue de un asistente de IA genérico: controla la pantalla por lenguaje natural, no responde texto. La mayoría de las herramientas de automatización de pruebas en Android dependen de que la app expone ganchos técnicos: identificadores de elementos, una API de testing, hooks que el equipo de desarrollo tuvo que programar antes. ARTEMIS no necesita nada de eso. Interpreta la pantalla visualmente y actúa sobre ella, exactamente como lo haría alguien que nunca vio el código fuente.

Esa diferencia importa porque la mayoría de las apps reales, sobre todo las que ya están en producción desde hace años, no fueron construidas pensando en que un agente las iba a operar después. Un agente que necesita una interfaz preparada de antemano sirve para apps nuevas. Un agente que lee la pantalla como una persona sirve para cualquier app que ya existe.

Es el mismo principio que desarrollamos al explicar agentes de IA en lenguaje natural sin nodos: la diferencia real no está en el modelo de lenguaje detrás, está en si el agente depende de que alguien le prepare el camino o si puede actuar directamente sobre lo que ya existe.

AndroidWorld mide qué tan bien funciona un agente así

Qué es AndroidWorld y por qué una tasa de finalización de tareas superior al 99% es una señal relevante para quien evalúa agentes de IA. Un agente que promete controlar una interfaz necesita algo más que una demo convincente para que un equipo técnico lo tome en serio. AndroidWorld es el benchmark que Google Research diseñó para eso: un conjunto de tareas reales dentro de apps Android reales, donde se mide si el agente completa el flujo completo, no solo el primer paso.

ARTEMIS completó más del 99% de esas tareas. Es una cifra alta, pero conviene leerla con el contexto correcto: AndroidWorld evalúa tareas estandarizadas sobre apps conocidas. Una app propia, con una lógica de negocio particular o una pantalla poco común, puede comportarse distinto. El número sirve como punto de partida para evaluar al agente, no como garantía de que funcionará igual en cualquier app.

El repositorio y la documentación del benchmark están disponibles en github.com/google-research/android_world, para cualquier equipo que quiera revisar la metodología antes de confiar en el número.

Se conecta a las herramientas que su equipo ya usa

ARTEMIS no vive aislado de la forma en que los equipos de desarrollo ya trabajan: se conecta a Claude Code, Codex y Cursor, tres entornos que muchos equipos técnicos ya tienen instalados. Eso significa que no hace falta aprender una herramienta nueva desde cero para empezar a pedirle que verifique un flujo: se le pide desde el mismo lugar donde ya se escribe y revisa código.

Esa integración es parte de por qué el proyecto acumula más de 11.000 stars en GitHub en poco tiempo: no es una herramienta que compite con el flujo de trabajo existente, se suma a él.

Si su equipo ya usa Claude Code en el día a día, en Claude Code para equipos tech: tome el control de sus procesos explicamos qué tareas puede absorber la herramienta y, más importante, cuáles no: el criterio técnico y el conocimiento del negocio siguen siendo responsabilidad de la persona, no de la herramienta.

Qué criterio aplicar antes de sumar ARTEMIS a un proceso real

ARTEMIS es un proyecto de investigación de código abierto, no un servicio que Bprosys opere ni venda. Antes de sumar cualquier agente, incluido uno con un resultado de benchmark tan alto, a un proceso de control de calidad real, conviene aplicar el mismo criterio que ya usamos con nuestros clientes al evaluar agentes de IA:

• Que primero proponga, después opere supervisado. Un agente nuevo no entra directo a decidir qué release sale a producción. Primero corre en paralelo a la revisión manual, y solo después de probar consistencia se le da más autonomía.
• Que haya un registro de lo que hizo. Si un agente marcó una pantalla como correcta y no lo estaba, alguien tiene que poder revisar qué vio y por qué decidió eso. Sin ese registro, no hay manera de confiar en el resultado ni de corregirlo.
• Que el proceso que automatiza ya esté claro. Un agente que revisa pantallas más rápido no mejora un proceso de QA mal definido, solo lo ejecuta más rápido. Antes de sumar un agente de este tipo, vale la pena mapear qué se revisa hoy y por qué.
• Que alguien con criterio de negocio siga en el circuito. ARTEMIS puede confirmar que un botón responde. No sabe si esa respuesta es la correcta según una regla de negocio que nadie documentó. Esa parte sigue siendo de la persona.

ARTEMIS es, sobre todo, una señal clara de hacia dónde va el control de calidad de software: agentes que operan interfaces en lenguaje natural, sin necesitar que nadie les prepare el camino antes. Si su equipo ya evalúa sumar un agente a algún proceso, el criterio que importa no es qué tan buena es la demo, sino qué controles tiene detrás antes de confiarle una decisión real.

Si quiere evaluar con criterio qué agente conviene para su operación y bajo qué controles, hablemos 20 minutos sobre su caso. Ese mismo criterio de gobernanza es el que aplicamos en nuestro servicio de agentes de IA con gobernanza.