Configuration du projet de vision
Avant d’utiliser ce tutoriel, vous devez avoir créé une solution en utilisant le projet de cas « Dépalettisation d’un carton unique » dans la section Configuration de la communication du robot.
Dans ce tutoriel, vous apprendrez d’abord le flux de travail du projet, puis vous déploierez le projet en ajustant les paramètres des étapes pour reconnaître les poses des cartons et produire le résultat de vision.
Introduction au flux de travail du projet
Dans ce tutoriel, vous devez configurer le projet de vision à l’aide de Mech-Vision et Mech-Viz. Le processus de configuration d’un projet de vision est illustré dans la figure ci-dessous.
Les phases du processus de configuration du projet de vision sont expliquées ci-dessous.
| Phase | Logiciel utilisé | Description |
|---|---|---|
Se connecter à la caméra et acquérir des images |
Mech-Vision |
Connectez-vous à la caméra via l’étape « Capturer des images depuis la caméra » de Mech-Vision afin de capturer des images. |
Prétraiter les nuages de points et obtenir les images 2D de la couche la plus élevée |
Mech-Vision |
Effectuez le prétraitement des nuages de points sur les données d’image et obtenez l’image couleur de la couche la plus élevée via la Procédure personnalisée « Prétraiter les nuages de points et obtenir les images 2D de la couche la plus élevée » de Mech-Vision. |
Inférence par apprentissage profond |
Mech-Vision |
Utilisez l’étape « Inférence du paquet de modèles d’apprentissage profond » de Mech-Vision pour segmenter les images couleur de la couche la plus élevée. |
Calculer les poses et dimensions des cartons |
Mech-Vision |
Vous pouvez utiliser la Procédure personnalisée « Calculer les poses et dimensions des cartons » de Mech-Vision pour calculer les poses des cartons de la couche la plus élevée. |
Ajuster les poses |
Mech-Vision |
Ajustez le repère et l’orientation, triez ou filtrez les poses produites par l’étape « Reconnaissance d’objets cibles 3D » à l’aide de l’étape « Ajuster les poses V2 » du logiciel Mech-Vision. |
Planifier la trajectoire du robot |
Mech-Vision & Mech-Viz |
L’étape « Sortie » de Mech-Vision envoie le résultat de vision (tel que les points centraux des objets, les nuages de points de la scène, les dimensions de la surface supérieure des cartons, etc.) à Mech-Viz.
|
Produire la trajectoire planifiée |
Mech-Viz |
Après réception de la commande de l’Interface standard envoyée par le robot (utilisée dans ce tutoriel) ou l’API PLC, Mech-Viz renvoie la trajectoire de mouvement du robot planifiée sans collision.
|
Ajuster les paramètres des étapes
Dans cette section, vous déploierez le projet en ajustant les paramètres de chaque étape.
| Le projet de cette section est « Vis-Single-Case Depalletizing » dans la solution « Dépalettisation d’un carton unique ». |
Capturer des images depuis la caméra
Nom de l’étape |
Capturer des images depuis la caméra |
|---|---|
Phase |
Se connecter à la caméra et acquérir des images |
Illustration |
|
Description |
Se connecter à une caméra réelle et configurer les paramètres pertinents pour garantir que la caméra puisse capturer correctement des images. |
-
Dans l’Espace de programmation graphique de Mech-Vision, sélectionnez l’étape Capturer des images depuis la caméra, et cliquez sur Sélectionner la caméra dans l’onglet Paramètres de l’étape.
-
Dans la fenêtre Sélectionner la caméra et le groupe de paramètres de calibration qui s’affiche, cliquez sur l’icône
à droite du numéro de série de la caméra. Lorsque cette icône devient 
, la caméra est connectée avec succès.
Après la connexion de la caméra, cliquez sur le bouton Sélectionner le groupe de paramètres et sélectionnez le groupe de paramètres calibrés avec ETH/EIH et date.
Le groupe de paramètres de calibration sélectionné ici est celui généré après l’achèvement de la calibration main-œil. -
Après la connexion de la caméra et la sélection du groupe de paramètres, le groupe de paramètres de calibration, l’adresse IP et les ports de la caméra seront obtenus automatiquement. Assurez-vous que Groupe de paramètres de configuration est défini sur « Large cartons ».
-
Cliquez sur le bouton d’exécution d’une seule étape de l’étape Capturer des images depuis la caméra pour déclencher la capture d’images, double-cliquez sur les flux de données « Carte de profondeur de la caméra » et « Image couleur de la caméra » de l’étape, et vérifiez si les images ont été capturées avec succès depuis la caméra dans la fenêtre Sortie de débogage.
-
Si vous pouvez voir une carte de profondeur et une image couleur normales dans la fenêtre Sortie de débogage, le logiciel Mech-Vision s’est connecté avec succès à la caméra réelle et peut capturer correctement des images.
Prétraiter les nuages de points et obtenir les images 2D de la couche la plus élevée
Nom de l’étape |
Prétraiter les nuages de points et obtenir les images 2D de la couche la plus élevée |
|---|---|
Phase |
Prétraiter les nuages de points et obtenir les images 2D de la couche la plus élevée |
Illustration |
|
Description |
Vous devez définir une région de reconnaissance efficace (ROI 3D) pour maintenir les facteurs d’interférence hors de la région, et définir le paramètre « Hauteur de couche » afin d’éviter des erreurs lors de l’extraction de l’image 2D de la couche la plus élevée. |
-
Définissez une région de reconnaissance efficace (ROI 3D) pour maintenir les facteurs d’interférence hors de la région afin d’améliorer l’efficacité de la reconnaissance. Le ROI 3D défini doit couvrir les cartons avec une extension appropriée d’environ 50 mm pour s’adapter aux écarts de matériau entrant.
-
Définissez le paramètre « Hauteur de couche » pour obtenir le nuage de points de la couche la plus élevée. La valeur définie doit être inférieure à la hauteur d’un carton et supérieure à la différence de hauteur maximale des cartons sur une même couche.
Inférence du paquet de modèles d’apprentissage profond
Nom de l’étape |
Inférence du paquet de modèles d’apprentissage profond |
|---|---|
Phase |
Inférence par apprentissage profond |
Illustration |
|
Description |
Importez et chargez le paquet de modèles d’apprentissage profond intégré à la solution et définissez le ROI 2D pour améliorer l’inférence par apprentissage profond. |
-
Utilisez l’outil de gestion des paquets de modèles d’apprentissage profond pour importer le paquet de modèle d’apprentissage profond, puis sélectionnez le paquet importé.
-
Définissez le ROI 2D pour l’apprentissage profond afin d’améliorer l’inférence. Le ROI 2D défini doit couvrir les cartons de la couche supérieure avec une marge appropriée de 1/3 pour s’adapter aux fluctuations de position du matériau.
Calculer les poses et dimensions des cartons
Nom de l’étape |
Calculer les poses et dimensions des cartons (Procédure personnalisée) |
|---|---|
Phase |
Calculer les poses et dimensions des cartons |
Illustration |
|
Description |
Cette étape ne nécessite pas de modification des paramètres. |
Ajuster les poses V2
Nom de l’étape |
Ajuster les poses V2 |
|---|---|
Phase |
Ajuster les poses |
Illustration |
|
Description |
Définissez les paramètres pour transformer les poses, ajuster les poses, trier les poses et filtrer les poses. |
Après avoir obtenu la pose de l’objet cible, vous devez ajuster la pose. La procédure de traitement est la suivante.
Avec l’outil intégré d’ajustement de pose dans Mech-Vision, vous pouvez facilement ajuster les poses des objets et optimiser la séquence de prise. Vous pouvez commencer l’ajustement des paramètres en ouvrant l’outil d’ajustement de pose de l’une des manières suivantes.
-
Cliquez sur le bouton Assistant de configuration sur le bloc d’étape dans l’espace de travail de programmation graphique.
-
Dans l’onglet Paramètres de l’étape, cliquez sur le bouton Assistant de configuration.
Suivez ces étapes pour ajuster les paramètres :
-
Transformer les poses : Dans l’onglet Ajustement de pose, transformez les poses du repère de la caméra vers le repère du robot.
-
Ajuster les poses : Dans l’onglet Ajustement de pose, définissez Orientation sur « Alignement automatique » et sélectionnez le scénario d’application « Dépalettisation et palettisation de boîtes ».
-
Trier les poses : Dans l’onglet Règles de traitement, sélectionnez le type de tri « Trier selon la forme Z sur le plan », et définissez les directions de ligne et de colonne de la pose de référence.
-
Filtrer les poses par angle : Dans l’onglet Règles de traitement, filtrez les poses manifestement non saisissables ou issues de résultats de reconnaissance erronés en fonction de leur direction selon l’axe Z, ce qui réduit le temps consacré à la planification de trajectoire dans Mech-Viz.
Sortie
Nom de l’étape |
Sortie |
|---|---|
Phase |
Planifier la trajectoire du robot (conditions préalables) |
Illustration |
|
Description |
Vous devez confirmer que les informations nécessaires à la planification de trajectoire et à la détection des collisions peuvent être émises. |
Selon les exigences de planification de trajectoire et de détection des collisions, vous devez envoyer les informations suivantes au logiciel Mech-Viz :
-
Poses des centres des objets
-
Nuage de points de la scène en couleur
-
Dimensions de la surface supérieure des cartons
Assurez-vous que tous les ports ci-dessus ont des connexions de flux de données, puis cliquez sur le bouton Exécuter pour confirmer que le projet peut s’exécuter avec succès et produire le résultat de vision. Vous pouvez vérifier s’il existe des journaux contenant des résultats de vision dans l’onglet Vision du panneau de journal de Mech-Vision.
Planification de trajectoire
Dans cet exemple, Mech-Viz est utilisé pour obtenir la trajectoire planifiée. Lors de l’utilisation du mode de communication Interface standard, le projet Mech-Viz et le côté robot doivent coopérer pour mettre en œuvre le processus de prise et dépôt du robot guidé par vision 3D.
Pour plus de détails sur la configuration du projet Mech-Viz pour la planification de trajectoire, veuillez vous référer à la section Prise et dépôt.
Vous avez maintenant terminé la configuration du projet de vision.