Ce que les agents IA ne savent toujours pas faire sur un vrai téléphone — et comment MCP change la donne

Les agents IA sont devenus remarquablement capables. Ils écrivent du code, naviguent sur le web, appellent des API et enchaînent des tâches en plusieurs étapes. Mais il reste toute une surface que la plupart d'entre eux ne peuvent toujours pas toucher : un appareil mobile réel.

Cet écart compte plus qu'il n'y paraît. Une part énorme de l'usage réel des logiciels dans le monde se fait sur un téléphone — et beaucoup de ce que nous voudrons faire faire aux agents (tester une application, reproduire un bug, vérifier un correctif, dérouler un tunnel d'achat) doit se passer sur un vrai. Les simulateurs mentent, et une capture d'écran renvoyée à un modèle n'équivaut pas à manipuler l'appareil.

Les trois choses qu'un agent ne sait pas faire de façon fiable sur un téléphone aujourd'hui

1. Le toucher comme un humain. La plupart des « automatisations d'appareil » accessibles à un agent passent par un simulateur ou par un partage d'écran distant poussif. Ni l'un ni l'autre ne fournit de véritable entrée au niveau matériel — de vrais appuis, maintiens, balayages et frappes qui s'enregistrent exactement comme ceux d'une personne. La fidélité n'est pas un supplément d'âme : beaucoup de bugs n'apparaissent que sous une entrée réelle, sur du matériel réel.

2. Tout voir et tout atteindre. Un agent qui fixe une capture d'écran devine. Pour vraiment manipuler une application, il lui faut plus que des pixels — il lui faut le trafic réseau, l'arbre des éléments d'interface, et la capacité de changer les conditions (simuler une réponse, falsifier une position). La vision seule est un trou de serrure.

3. Le faire sans laboratoire d'appareils. Les équipes qui savent automatiser des appareils réels y ont consacré des années et beaucoup d'argent — racks de téléphones, ponts capricieux, installations locales. Un agent ne devrait pas avoir besoin d'un laboratoire matériel derrière lui pour appuyer sur un bouton.

Pourquoi MCP est le déclic

Le Model Context Protocol donne aux agents une manière standard d'appeler des outils externes. C'est exactement la bonne forme pour ce problème : au lieu de greffer l'accès aux appareils sur un seul modèle, on expose le contrôle d'appareils réels sous forme d'outils MCP que n'importe quel agent peut appeler.

Bien fait, cela permet à un agent de :

• Contrôler — vrais appuis, maintiens, balayages, frappes (au niveau matériel, pas une surcouche)
• Percevoir — l'écran, l'inspection web sur l'appareil, l'arbre des éléments d'interface
• Atteindre les entrailles — capturer le trafic réseau, et simuler n'importe quelle requête ou réponse
• Changer le monde — définir la position GPS n'importe où
• Agir en autonomie — explorer une application, trouver des problèmes et générer des scripts de test exécutables

Le basculement se fait de « un agent qui peut voir un téléphone » à « un agent qui peut s'en servir » — avec le même accès complet qu'un testeur humain, sensoriel et programmatique.

Ce que cela rend possible

Dès qu'un agent peut réellement manipuler un appareil, « teste cette application sur un vrai iPhone » devient une seule instruction. « Reproduis le bug de paiement sur un Pixel et donne-moi un script » aussi, tout comme « simule un échec de l'API de paiement et vérifie que l'application le gère ». Le travail qui demandait une semaine d'installation de laboratoire se ramène à une consigne.

Ce n'est pas un futur lointain. C'est l'étape suivante naturelle, maintenant que les agents font du vrai travail et que MCP leur donne un moyen propre d'atteindre le monde réel.

Voyez-le fonctionner

Nous avons construit exactement cela — de vrais appareils iOS et Android exposés aux agents comme outils MCP. Vous pouvez pointer votre propre agent vers un appareil réel dans une démo en direct, dès maintenant.

Connectez-vous avec Google ou GitHub et essayez gratuitement →