Automatiser les tâches répétitives en capturant manuellement les étapes dans Actions d'agents IA d'ordinateur

  • Rversion finale: Australia
  • Mis à jour 10 nov. 2025
  • 7 minutes de lecture

    • Créez des actions de bureau en capturant manuellement les étapes d’automatisation des tâches répétitives dans Actions d'agents IA d'ordinateur. Les étapes que vous définissez sur un ou plusieurs écrans d’application sont enregistrées en tant qu’action de bureau réutilisable de type tâche à l’écran.

    Avant de commencer

    Pour accéder à cette Actions d'agents IA d'ordinateur fonctionnalité, procédez comme suit :

    Confirmer que la configuration système requise suivante est satisfaite :

    • Windows 11 système d’exploitation est utilisé.
    • Un runtime .NET 9.0 v9.0.10 et .NET 9 Desktop Runtime v9.0.10 sont installés.
    • Aucun moniteur étendu n’est connecté.
    • Le thème doit correspondre entre les systèmes utilisés pour l’enregistrement et l’exécution.
    • Le Bureau à distance doit être activé sur votre ordinateur et votre compte doit disposer des autorisations d’accès au Bureau à distance avant de commencer à utiliser l’espace de travail d’exécution Actions d'agents IA d'ordinateur .

    Familiarisez-vous avec l’espace de travail de conception et l’enregistreur d’action. Pour plus d'informations, consultez Actions d'agents IA d'ordinateur Espace de travail de conception et Enregistreur d’action dans Actions d'agents IA d'ordinateur.

    Rôle requis : sn_aia.admin

    Pourquoi et quand exécuter cette tâche

    Vous pouvez simuler une interaction utilisateur dans une automatisation en capturant manuellement des écrans et en définissant des étapes.

    À l’aide des commandes de la fenêtre, vous pouvez capturer une zone d’une fenêtre d’application. Vous pouvez ensuite définir un ou plusieurs ancrages et définir des étapes qui représentent les interactions de l’utilisateur dans cette fenêtre.

    • Ancre : les ancres permettent de spécifier la zone cible de l’interaction en définissant une zone statique à partir de laquelle les étapes peuvent être définies à une distance relative.
    • Étape : les étapes sont vos interactions séquentielles de type cliquer, sélectionner, taper, faire défiler, et plus encore.
    Remarque :
    Si votre automatisation nécessite des entrées manuelles, telles que la saisie d’un OTP ou d’un CAPTCHA, vous devez fournir des instructions à l’agent IA pour qu’il attende l’entrée de l’utilisateur pendant l’exécution. Sinon, l’automatisation ne peut pas se poursuivre.

    Procédure

    1. À partir de votre Windows système, lancez l’application Actions d'agents IA d'ordinateur .
    2. Sur la page de connexion, dans le champ Ajouter une URL ServiceNow , saisissez l’URL de l’instance ServiceNow .
      Par exemple, https://<nom d’instance>.service-now.com.
      Actions d'agents IA d'ordinateur écran de connexion pour entrer l’URL de l’instance ServiceNow .
    3. Sélectionnez Continuer.
    4. Connectez-vous à votre ServiceNow compte en saisissant votre nom d’utilisateur et votre mot de passe.
      Vous devez disposer du rôle sn_aia.admin.

      Fenêtre de connexion permettant d’entrer le nom d’utilisateur et le mot de passe de votre ServiceNow compte.

    5. Facultatif : Dans l’assistant du parcours d’intégration, terminez l’intégration et sélectionnez Démarrer.
      Widget de parcours d’intégration de cinq pages pour vous montrer les points forts de l’application.

      Si vous lancez le pour la première fois, le widget de parcours d’intégration s’affiche Actions d'agents IA d'ordinateur . Vous pouvez sélectionner Ne plus afficher pour masquer le widget lors du prochain lancement Actions d'agents IA d'ordinateur ou Ignorer l’introduction pour ignorer l’intégration.

    6. Sur la page d’accueil Actions d'agents IA d'ordinateur , sélectionnez Créer une action de bureau.
      Actions d'agents IA d'ordinateur Page d’accueil affichant l’action d’interface utilisateur Créer une action de bureau, les options de recherche et de sélection, ainsi que les cartes des actions de bureau existantes.
    7. Dans la boîte de dialogue Nouvelle action de bureau, sélectionnez Étapes de capture manuelle.
      Nouvelle fenêtre d’action de bureau avec l’option de capture manuelle sélectionnée et les champs pour entrer un nom et une description pour l’action de bureau.
    8. Entrez un nom et une description pour l’action de bureau.
    9. Sélectionnez Démarrer la capture.

      L’espace de travail de conception s’affiche.

      Concevez un espace de travail dans un état où aucune capture d’écran n’est effectuée.
    10. Captures d’écrans.
      1. Dans l’onglet Conception , sélectionnez l’icône Options de capture .
      2. Sélectionnez Capture manuelle.
        Espace de travail de conception affichant deux options : Capture automatique avec enregistreur et Écrans de capture manuelle.

        La Actions d'agents IA d'ordinateur fenêtre est réduite et le panneau Capture est lancé.

        Panneau flottant de capture manuelle avec actions d’interface utilisateur Sélectionner et Annuler.
      3. Ouvrez les applications pour lesquelles vous souhaitez automatiser les étapes.
      4. Capturez la zone de la fenêtre de l’application externe en sélectionnant l’icône Sélectionner dans le panneau Capture ou en appuyant sur Ctrl + Maj + C sur le clavier.
        Remarque :
        Si le raccourci Ctrl + Maj + C entre en conflit avec une autre application sur votre ordinateur, telle que Zoom, vous devez utiliser le bouton Sélectionner pour lancer la capture d’écran manuelle.
        Par exemple, vous pouvez capturer la zone entourant un bouton ou un champ de texte dans un navigateur Web. L’icône du curseur se transforme en icône.
      5. Faites glisser l’icône et sélectionnez la zone d’écran requise.
        Lorsque vous quittez l’icône , la zone sélectionnée est capturée sous forme de capture d’écran dans l’espace de travail de conception.

        Si vous n’êtes pas satisfait de l’écran capturé, vous pouvez capturer à nouveau la zone de l’écran en sélectionnant l’icône Capturer une image .

    11. Insérez des ancres.
      1. Insérez une ancre sur l’écran capturé en sélectionnant l’icône Ajouter une ancre.
        Capture d’écran de l’application Gestion des expéditions avec ancrage ajouté sur le titre de la fenêtre

        Un ancrage est un point de référence sur l’écran qui aide l’automatisation à identifier et à interagir avec les éléments d’interface utilisateur à proximité. Pendant l’exécution, le système utilise la vision par ordinateur pour localiser l’ancre, puis identifie les éléments d’interface utilisateur à une distance correspondante de l’ancrage. Les ancrages améliorent la stabilité et la précision des étapes lorsque l’emplacement de l’élément cible peut changer ou lorsque la disposition de l’interface utilisateur varie d’une session à l’autre.

        Remarque :
        N’utilisez pas d’éléments d’interface utilisateur changeant dynamiquement comme ancres. Si un élément change de couleur, de texte ou d’état après une action (par exemple, après un clic), sélectionnez un autre ancrage qui reste statique à l’écran.
      2. Déplacez l’ancre vers une partie de l’image capturée qui ne changera pas.
        Par exemple, déplacez l’ancre vers un titre ou une étiquette de champ.

        Si la zone sous l’ancrage ne correspond pas exactement à la zone correspondante de l’image capturée, l’ancrage n’est pas reconnu et les étapes ne sont pas effectuées comme prévu. Choisissez une zone statique de l’image pour définir votre ancre.

        Vous pouvez ajouter plusieurs ancres sur chaque écran. Plusieurs ancres vous permettent de définir la relation géographique entre l’ancre et la cible avec plus de précision lorsque vous ciblez différents emplacements dans l’image.

    12. Configurez les étapes.
      1. Dans le menu Contrôle d’ancrage, sélectionnez l’icône Ajouter une étape .
      2. Sélectionnez le type d’étape à effectuer pour cette étape dans le menu contextuel.
        Capture d’écran d’une application avec ancrage ajouté, affichant différents types d’étapes d’entrée et de sortie.
        Tableau 1. Description des actions
        Objectif Étape Type Exemple
        Saisir du texte dans un champ Définir le texte Entrée Saisissez des données de texte telles qu’un nom d’utilisateur, une adresse, une réponse d’enquête ou dans toute situation où la saisie de texte est acceptée.
        Remarque :
        Si vous définissez une valeur statique pour ce champ, l’automatisation l’utilise lors de l’exécution Now Assist et ne vous invite pas à entrer à partir du panneau.
        Simuler un clic de souris Cliquer sur Entrée Cliquez sur un bouton, ouvrez un menu ou effectuez n’importe quelle étape généralement effectuée par un clic de souris.
        Simuler une autre action de la souris (par exemple, cliquer avec le bouton droit de la souris, glisser, faire défiler ou coller) Clic de souris Entrée Effectuez diverses actions de la souris sur l’appareil, telles que cliquer avec le bouton droit de la souris et sélectionner un objet ou faire défiler sur une page Web.
        Simuler une pression sur une touche ou une fonction de touche Envoyer des touches Entrée Utilisez des raccourcis clavier, tels que copier du texte en entrant Ctrl + C sur les champs et les éléments.
        Remarque :
        Si vous définissez une valeur statique pour ce champ, l’automatisation l’utilise lors de l’exécution Now Assist et ne vous invite pas à entrer à partir du panneau.
        Capturer le texte d’une fenêtre ou d’une page Web Obtenir du texte Sortie Recevez du texte de la zone source.
        Capturer une table Obtenir une table Sortie Recevoir la table à partir de la zone source lorsque le texte est au format table.
        Remarque :
        Pour que l’étape de capture réussie des données de table, les données doivent déjà se trouver dans le formulaire de table. L’étape ne peut pas convertir du texte ordinaire en données de table.
        Lire le texte d’une image Texte lu OCR Sortie Reconnaissez le texte des images et renvoyez-le au format de texte standard.

        Vous pouvez ajouter plusieurs étapes représentant vos étapes d’automatisation.

    13. Configurez les propriétés pour les écrans, les ancrages et les étapes ajoutés dans le panneau Propriétés.
      Pour plus d'informations, consultez Propriétés de l’écran, de l’ancrage et de l’étape dans Actions d'agents IA d'ordinateur.
    14. Facultatif : Modifiez les noms générés automatiquement pour tous les écrans, ancres et étapes ajoutés.

      Vous pouvez modifier les noms générés automatiquement en suivant ces instructions de dénomination.

      • Les champs Nom ne doivent pas être vides.
      • Les champs de nom ne doivent contenir que des caractères alphanumériques. Les espaces et les caractères spéciaux ne sont pas autorisés.
      • Chaque nom doit être unique à son niveau parent respectif.
        • Chaque écran doit avoir un nom unique au niveau de l’action de bureau.
        • Chaque ancre doit avoir un nom unique au niveau de l’écran.
        • Chaque étape doit avoir un nom unique au niveau de l’ancrage.

    Que faire ensuite

    1. Configurez les détails de votre action de bureau. Pour plus d'informations, consultez Ajouter des détails aux actions de bureau dans Actions d'agents IA d'ordinateur.
    2. Testez et activez l’action de bureau afin qu’elle puisse être ajoutée en tant qu’outil aux agents IA. Pour plus d'informations, consultez Tester et activer une action de bureau dans Actions d'agents IA d'ordinateur.
    3. Ajoutez l’action de bureau en tant qu’outil aux agents IA dans Studio d'agents IA. Pour plus d'informations, consultez Ajouter une action de bureau à un agent IA.