Reconnaissance d’objet 3D (Objets empilés aléatoirement)
Ce tutoriel vous montrera comment reconnaître avec précision les poses d’objets cibles empilés de manière aléatoire. En prenant le projet “Reconnaissance d’objet 3D (Objets empilés aléatoirement)” comme exemple, cette section explique comment ajuster les paramètres pour l’Étape Reconnaissance d’objet 3D et met en évidence les points clés à considérer pour l’application pratique.
| Scénario d’application | Résultat de la reconnaissance |
|---|---|
|
|
Ce qui suit présente les indications d’application pour le projet exemple et les points clés à prendre en compte pour l’application pratique.
Guide d’application
Dans la bibliothèque de solutions de Mech-Vision, vous pouvez trouver la solution “Reconnaissance d’objet 3D (Objets empilés aléatoirement)” sous la catégorie “Localisation 3D” des “Exemples pratiques” et créer la solution avec un projet “Reconnaissance d’objet 3D (Objets empilés aléatoirement)”. Ensuite, sélectionnez l’Étape Reconnaissance d’objet 3D puis cliquez sur le bouton Assistant de configuration dans le panneau Paramètres de l’étape pour ouvrir l’“Outil de reconnaissance d’objet 3D” et apprendre à ajuster les paramètres. Le flux de travail comprend trois processus, à savoir le prétraitement du nuage de points, la sélection et la reconnaissance de l’objet cible, et les paramètres généraux.
-
Prétraitement du nuage de points : Utilisez ce processus pour convertir les données d’image acquises en nuages de points, définir une région de reconnaissance valide, détecter les nuages de points de bord et filtrer les nuages de points qui ne répondent pas aux exigences. Ce processus peut aider à améliorer la précision de reconnaissance du processus suivant.
-
Sélection et reconnaissance de l’objet cible : Après avoir créé le modèle de l’objet cible et les points de prise, décidez s’il faut configurer le paquet de modèle d’apprentissage profond et ajustez les paramètres de reconnaissance de l’objet cible en fonction de la stratégie de reconnaissance visuelle utilisée. Assurez-vous que les paramètres configurés répondent aux exigences de précision opérationnelle afin que la solution de reconnaissance d’objets puisse reconnaître les objets cibles de manière stable et précise.
-
Paramètres généraux : Configurez les ports de sortie dans ce processus en sélectionnant les données pour les points de prise ou les points centraux de l’objet en fonction des exigences des tâches de prélèvement ultérieures.
Ce qui suit présente les principaux paramètres à ajuster dans chaque processus.
Prétraitement du nuage de points
-
Définir la région de reconnaissance.
Définissez une région de reconnaissance (ROI 3D). La région doit couvrir entièrement l’objet cible, avec un peu d’espace supplémentaire autour de l’objet cible dans la région.
-
Dans la plupart des cas, conservez les valeurs par défaut de ces paramètres. Si le bruit est encore présent dans le nuage de points de la scène, essayez d’ajuster les paramètres pertinents pour filtrer le bruit.
Aucun autre paramètre ne doit être ajusté dans ce projet exemple. Vous pouvez cliquer sur le bouton Suivant pour passer au processus “Sélection et reconnaissance de l’objet cible” après avoir défini la région de reconnaissance.
Sélection et reconnaissance de l’objet cible
Après le prétraitement du nuage de points, vous devez créer un modèle de nuage de points de l’objet cible dans l’éditeur d’objet cible, puis définir des paramètres d’appariement pour l’appariement du modèle de nuage de points.
-
Créer un modèle d’objet cible.
Cliquez sur le bouton Ouvrir l’éditeur d’objet cible pour ouvrir l’éditeur, importez le fichier STL pour générer un modèle de nuage de points et configurez manuellement les points de prise. Ensuite, cliquez sur le bouton Enregistrer pour revenir à l’interface de l'“Outil de reconnaissance d’objet 3D”, puis cliquez sur le bouton Mettre à jour l’objet cible pour sélectionner le modèle d’objet cible créé et l’appliquer pour reconnaître les poses des objets cibles.
Vous pouvez télécharger des fichiers STL en cliquant sur ici. -
Définir des paramètres liés à la reconnaissance d’objets.
Les instructions suivantes sur l’ajustement des paramètres sont fournies à titre de référence uniquement. Veuillez ajuster chaque paramètre en fonction de la situation sur site. -
Activez le Mode avancé sur le côté droit de Reconnaître l’objet cible.
-
Définir le mode d’appariement : Pour ce projet, lorsque l’option Définir automatiquement le mode d’appariement est activée, la précision de la reconnaissance peut ne pas répondre aux exigences sur site. Il est donc recommandé de désactiver cette option et d’ajuster manuellement les paramètres pertinents.
Étant donné que l’appariement grossier autorise généralement certaines erreurs d’appariement, définissez le Mode d’appariement grossier sur Appariement des arêtes ; si la précision d’appariement ne répond pas aux attentes, comme dans les cas de fortes fluctuations du nuage de points des arêtes, définissez le Mode d’appariement fin sur Appariement de surface pour améliorer la précision de la reconnaissance.
Mode d’appariement défini automatiquement
Paramètres pertinents définis manuellement
-
Ajuster les paramètres de confiance : Ajustez les Paramètres de confiance pour garantir que les tubes supérieurs placés normalement soient reconnus avec précision. Dans ce projet, lorsque la Stratégie de confiance est réglée sur Auto, les résultats de reconnaissance incorrects ne peuvent pas être complètement supprimés. Il est donc recommandé de définir ce paramètre sur Manuel et d’ajuster les paramètres suivants :
-
Définissez la Stratégie de notation conjointe sur Prendre en compte à la fois la surface et les arêtes.
-
Étant donné qu’il existe de nombreux points coïncidents entre le nuage de points de la scène et le modèle de nuage de points, un petit rayon de recherche doit être sélectionné pour obtenir des résultats d’appariement plus précis. Le Degré de vérification des résultats pour l’appariement de surface doit être réglé sur Élevé, et le Seuil de confiance pour l’appariement de surface doit être réglé sur 0.9000.
-
Étant donné que le nuage de points des arêtes du modèle d’objet cible fluctue fortement, un grand rayon de recherche doit être sélectionné lors de la reconnaissance pour des résultats d’appariement plus précis. Le Degré de vérification des résultats pour l’appariement des arêtes doit être réglé sur Standard, et le Seuil de confiance pour l’appariement des arêtes doit être réglé sur 0.5000.
Mode d’appariement défini automatiquement
Paramètres pertinents définis manuellement
-
Dans la section des résultats de reconnaissance en bas de la fenêtre de visualisation du côté gauche, sélectionnez Résultat de sortie dans le premier menu déroulant. Les objets cibles dont les valeurs de Confiance d’appariement de surface et de Confiance d’appariement des arêtes dépassent le seuil défini seront conservés. Veuillez vérifier le résultat de reconnaissance en fonction de la situation réelle. En cas de fausse reconnaissance ou de faux négatif, augmentez ou diminuez le seuil correspondant.
-
Lors de l’ajustement du paramètre Stratégie de confiance, vérifiez d’abord le résultat de reconnaissance avec ce paramètre réglé sur Auto. Si le résultat de reconnaissance ne répond toujours pas aux exigences sur site après ajustement du Seuil de confiance, et qu’il existe un écart significatif entre les valeurs de Confiance d’appariement de surface et de Confiance d’appariement des arêtes affichées en bas de la fenêtre de visualisation, il est recommandé de régler la Stratégie de confiance sur Manuel et d’ajuster les paramètres pertinents.
-
-
-
Sorties maximales sous “Sortie” : Définissez la valeur de ce paramètre sur le nombre d’objets cibles lorsque la couche supérieure est complètement exposée. Dans ce projet, le Nombre maximal de sorties est défini sur 15.
-
Sur cette base, cliquez sur le bouton Suivant pour accéder à la page des paramètres généraux et configurer les ports de sortie.
Paramètres généraux
Après la reconnaissance de l’objet cible, vous pouvez configurer des fonctions auxiliaires autres que la reconnaissance visuelle. Actuellement, seule la configuration des sorties de port est prise en charge, ce qui peut fournir des résultats de vision et des nuages de points pour les Étapes suivantes.
Pour garantir que les objets puissent être saisis avec succès par le robot, vous devez ajuster le point central de l’objet afin que son axe Z pointe vers le centre du bac. Sous Sélection du port, sélectionnez Port(s) liés au point central de l’objet. Ensuite, sélectionnez l’option Nuage de points original acquis par la caméra. Les données de nuage de points de sortie seront utilisées pour la détection des collisions dans la planification de trajectoire.
| S’il y a d’autres besoins sur site, configurez les ports de sortie pertinents selon les besoins réels. |
Maintenant, vous avez ajusté les paramètres pertinents. Cliquez sur le bouton Enregistrer pour enregistrer les modifications.
Principales considérations pour l’application
Dans les applications réelles, vous devez comprendre et considérer ce qui suit, puis ajouter l’étape Reconnaissance d’objet cible 3D à votre projet et connecter les ports de données pour reconnaître rapidement et précisément les poses des objets cibles.
-
L’étape « Reconnaissance d’objet cible 3D » est généralement utilisée conjointement avec l’étape Capture d’images depuis la caméra. Cette étape est adaptée aux scénarios de chargement de pièces. Elle est capable de reconnaître des pièces de différentes formes et méthodes d’empilage, y compris des dispositions séparées, un empilage ordonné en une seule couche, un empilage ordonné en plusieurs couches et un empilage aléatoire.
-
L’étape « Reconnaissance d’objet cible 3D » est généralement suivie d’une étape de correction de pose, telle que l’étape Ajuster les poses V2.
Ce projet d’exemple vise à montrer comment identifier avec précision les poses des objets cibles lorsqu’ils sont soigneusement disposés; il omet donc le processus de correction de pose.