While matte objects can be visually recognized well and grasped with robots, transparent objects pose new challenges. Modern color and depth cameras (RGB-D) do not deliver correct depth data but distorted images of the background. In this paper, we show which methods are suitable to detect transparent objects in color images only and to determine their pose. Using a robotic system, views of the targeted object are generated and annotated to learn methods and to obtain data for evaluation. We also show that by using an improved method for fitting the 3D pose, a significant improvement in the accuracy of pose estimation is achieved. Thus, false detections can be eliminated and for correct detections the accuracy of pose estimation is improved. This makes it possible to grasp transparent objects with a robot.
Während matte Objekte visuell gut erkannt und mit Robotern gegriffen werden können, stellen transparente Objekte neue Herausforderungen dar. So liefern moderne Farb- und Tiefenbildkameras (RGB-D) keine korrekten Tiefendaten, sondern verzerrte Abbildungen des Hintergrunds. Wir zeigen in diesem Beitrag, welche Methoden geeignet sind, um nur in Farbbildern transparente Objekte zu erkennen und deren Pose zu bestimmen. Mittels eines Robotersystems werden Ansichten des Zielobjekts generiert und annotiert, um Methoden anzulernen und um Daten für die Evaluierung zu erhalten. Wir zeigen auch, dass mittels einer verbesserten Methode zum Einpassen der 3D-Pose eine deutliche Verbesserung der Genauigkeit der Lageschätzung erreicht wird. Dadurch können falsche Erkennungen aussortiert werden und für richtige Erkennungen wird die Genauigkeit der Poseschätzung verbessert. Somit gelingt es, mit einem Roboter transparente Objekte zu greifen.
Keywords: Computer vision; Detection; Grasping; Pose estimation; Robotics; Transparent objects.
© The Author(s) 2023.