Qu’est-ce qu’un agent IA en computer use ?
OpenAI a publié GPT-6 Astra le 3 septembre 2026 et en a fait son argument produit principal : le modèle pilote les logiciels par leur interface, comme le ferait un utilisateur, au lieu de passer par une intégration applicative. Deux jours plus tôt, Anthropic sortait Claude Fable 5.1, qui progresse lui aussi sur le pilotage d’interface sans en faire son axe de communication. La capacité est donc acquise des deux côtés. Ce qui se joue dans les comités d’architecture de la rentrée porte sur le mode qu’on retient par défaut, et sur ce qu’on accepte de perdre en le retenant.
Le computer use désigne la capacité d’un modèle à manipuler un logiciel par son interface graphique : il lit l’écran, déplace le curseur, remplit les champs et clique. Aucune API n’est requise côté application cible. L’agent travaille sur le rendu visuel, exactement là où travaille un opérateur humain.
La capacité elle-même n’est pas neuve. Anthropic l’a ouverte en préversion dès l’automne 2024 et les éditeurs l’ont affinée depuis. Ce qui change en septembre 2026, c’est sa place dans le discours commercial : elle quitte le statut de fonction annexe pour devenir une promesse d’architecture.
Pourquoi cet arbitrage arrive dans les comités d’architecture cet automne ?
Parce que la promesse s’adresse d’abord aux arbitrages budgétaires. Un agent qui pilote l’écran se branche sur des applications qui n’exposent rien : un client lourd des années 2000, un progiciel métier verrouillé par son éditeur, un extranet fournisseur sans interface programmable. On en trouve dans la plupart des grandes entreprises françaises. Ce sont eux qui font caler les projets d’automatisation au moment du chiffrage, bien plus souvent que les limites des modèles.
Depuis la sortie d’Astra, la même phrase nous revient des directions techniques : on n’aurait plus besoin d’intégrer. Prise telle quelle, la phrase est fausse. Elle contient une part de vrai qui mérite un arbitrage écrit plutôt qu’un débat de couloir, parce que les deux modes ne se gouvernent pas de la même façon.
Computer use ou intégration API : comment trancher ?
Branchez l’agent sur une API chaque fois qu’elle existe et qu’elle couvre l’opération. Réservez le computer use aux systèmes que vous ne pouvez pas intégrer, ou pas dans le temps imparti. Le premier mode se teste et se rejoue à l’identique. Le second se surveille.
Quatre questions suffisent à trancher, cas d’usage par cas d’usage.
- Une API couvre-t-elle l’opération de bout en bout, ou seulement la lecture ?
- Que coûte une erreur : une ligne à corriger le lendemain, ou une écriture irréversible en base de production ?
- Comment saurez-vous que l’agent s’est trompé, et au bout de combien de temps ?
- Qui valide avant l’écriture, et à quel endroit de la chaîne ?
La quatrième question est celle qui reste sans réponse dans les ateliers de cadrage que nous animons. L’agent est cadré techniquement, son périmètre d’écriture est documenté, et personne ne sait dire qui relève l’alerte quand elle tombe un vendredi à dix-neuf heures.
Pourquoi les benchmarks ne tranchent pas à votre place ?
Les scores publiés sur OSWorld, le jeu de tâches devenu la référence pour le pilotage d’interface, varient fortement selon le protocole d’évaluation. Un même modèle affiche des scores nettement différents selon que la mesure tourne en configuration standard ou avec un harnais renforcé. Chaque éditeur publie la configuration qui l’avantage, ce qui est de bonne guerre. L’écart cesse d’être un détail méthodologique le jour où il sert à justifier un choix d’architecture en comité.
Le taux de réussite d’un agent sur un banc d’essai public dit peu de chose de son comportement sur votre progiciel de gestion, avec vos habilitations et vos écrans personnalisés, un jour de clôture comptable. La seule mesure qui vous engage est celle que vous produisez sur vos propres tâches, avec vos propres données. Gartner anticipe l’annulation de 40 % des projets agentiques d’ici 2027. Nous voyons souvent la même cause à l’entrée : une décision d’architecture arrêtée sur des chiffres que personne n’a rejoués en interne.
Qu’est-ce que ça change pour une entreprise française ?
D’abord la traçabilité. Un agent qui clique laisse une trace pauvre : une suite de captures et de coordonnées, sans identifiant de transaction ni code retour. Un agent qui appelle une API laisse une trace exploitable en audit, avec l’appel et sa réponse horodatés. Depuis le 2 août 2026, les obligations de transparence de l’article 50 et le régime de sanctions de l’AI Act s’appliquent. En France, la désignation formelle des autorités compétentes n’est toujours pas promulguée : le volet numérique du projet de loi d’adaptation au droit de l’Union reste en navette parlementaire, et il désigne la CNIL comme autorité de référence. Le paquet omnibus, adopté en juin 2026 et entré en vigueur le 27 juillet, a par ailleurs repoussé au 2 décembre 2027 les exigences substantielles applicables aux systèmes à haut risque de l’annexe III. Cela laisse du temps sur la documentation lourde et rien du tout sur la capacité à répondre à un régulateur qui demande qui a fait quoi, quand et sur quel système.
Ensuite l’identité. Un agent qui pilote un écran hérite d’une session, donc des habilitations de la personne qui l’a ouverte. Beaucoup d’organisations découvrent à cette occasion qu’elles n’ont pas de compte de service pour un agent, et pas de réponse claire sur la responsabilité d’une écriture faite sous le compte d’un collaborateur en congé. Deloitte mesurait en 2025 que 21 % seulement des organisations déployant des agents disposaient d’une gouvernance mature. Le computer use élargit la surface à gouverner avant que ce chiffre ait bougé.
Par où commencer ?
Par un inventaire. Le pilote vient après. Listez les tâches que vous vouliez automatiser et qui ont été reportées faute d’API disponible. Nous la retrouvons dans la plupart des DSI, sous forme de tickets fermés en « hors périmètre ». Elle délimite le vrai terrain du computer use, qui est plus étroit que la promesse commerciale et plus large que zéro.
Prenez ensuite une seule tâche de cette liste, à coût d’erreur faible, et instrumentez-la avant de l’automatiser : un journal des actions et un point de validation humaine nommé. S&P Global relevait en 2025 que 46 % des organisations abandonnaient leurs prototypes avant la production. Celles qui passent ce cap ont généralement décidé de l’observabilité avant d’écrire le premier prompt.
Notre diagnostic de maturité IA couvre cette dimension d’architecture en trois minutes, aux côtés de la gouvernance et de l’industrialisation, selon le référentiel Koneetiv (édition 2026). Pour le cadre complet, voir les agents IA en entreprise, la méthodologie LOOP™ de gouvernance IA et notre analyse du passage du pilote à la production.