Ansprechpartner
Ilja Radusch
Dr.-Ing. Ilja Radusch
Leiter
Geschäftsbereich ASCT
+49 30 3463-7474

FLLT

KI-assistierte Annotation von 3D-Punktwolken

Künstliche Intelligenz (KI) kann nur so leistungsfähig operieren, wie es die Qualität der Daten zulässt, mit denen sie trainiert wurde. Im Besonderen gilt dies bei der Methodik des Deep-Learning, das neuronale Netze nutzt, die vom menschlichen Gehirn inspiriert sind. Hierbei handelt es sich um eine effiziente Methode des überwachten maschinellen Lernens. Das detaillierte und präzise Markieren von Daten, die mit Hilfe von Kameras und Sensoren aufgenommen wurden, ist hierfür eine Grundvoraussetzung.

Anhand der markierten, »gelabelten«, Datensätze lernt ein Fahrzeug seine Umgebung der Wirklichkeit entsprechend wahrzunehmen. Je Größer der Datenpool, desto besser kann das Computersystem dazulernen. Es optimiert sich quasi selbst und fortlaufend, dadurch wird die Erkennungsgenauigkeit gesteigert und der Nutzen vergrößert.

Akkumuliert als Sets gelten die annotierten Bilder in der Automobilbranche als das Kapital, das es braucht, um Fahrzeuge autonom fahrend auf die Strecke zu bringen. Üblicherweise sind diese Sets für Kamerabilder angelegt, die die an den Fahrzeugen montierten Kameras liefern. Es werden zwar bereits Kameras in Assistenzsystemen genutzt, jedoch sind sie bei der Objekterfassung und -erkennung störanfällig gegenüber wechselnden Wetterverhältnissen.

Zur detaillierten Erfassung der (Lern-)Umgebung benötigen Fahrzeuge zusätzlich Sensor-Komponenten. Die aufgenommenen Daten einer Kamera werden dafür mit denen von Lasersystemen verknüpft, da diese Objekte genauer erfassen als es die Berechnung auf der Grundlage von Kamerabildern erlaubt.

Das hier präsentierte Labeling-Tool FLLT lässt das »Training« der KI – im wahrsten Sinne des Wortes – leicht von der Hand gehen. Während diese Art von Tools für das Labeling von Kamerabildern weitestgehend auf dem Markt etabliert ist, sind entsprechende Tools für das Labeling von Laserscanner-Daten, die als Punktwolken dargestellt werden, noch nicht verfügbar.

Seit nunmehr drei Jahren arbeiten die Forscher des FOKUS-Geschäftsbereichs Smart Mobility an einem solchen Tool, das die Marktlücke im Bereich der Annotation von Laserscanner-Daten schließt. Es hilft dabei, Kamera- und Laserscanner in Verbindung miteinander zu setzen. Das Resultat: ein Bild, in dem die einzelnen Objekte voneinander genau separiert werden können.

Dreistufiges Labeling für Bilddaten von Kameras und Lidar-Lasercannern

Das Tool verfügt über drei Modi, die das Semantic-, Instances- und Boxes-Labeling umfassen. Während das Semantic-Labeling die semantischen Eigenschaften innerhalb des Bildmotives und der Punktwolke beschreibt, bieten das Instance- und Boxes-Labeling die Möglichkeit, noch mehr Informationen über individuelle und erkennbare Gegenstände hinzuzufügen, wie die Trennung zwischen einzelnen Objekten sowie deren Pose und Ausdehnung im 3D-Raum. Das Interface lässt den Nutzer mit dem Semantic-Labeling beginnen, um anschließend einzelne Objekte zu spezifizieren, die abschließend in einzelne Rahmen, sogenannte »Bounding Boxes«, gesetzt werden. Die Benutzeroberfläche passt sich dabei jedem Schritt im Labeling-Prozess an und unterstützt auf diese Weise den Nutzer bei seiner Arbeit.


Automatisches Pre-Labeling

Aktuelle Verfahren der KI sind bereits in der Lage, eine hohe Erkennungsgüte zu liefern. In FLLT werden diese State-of-the-Art-Netze für ein automatisiertes Pre-Labeling genutzt. Die so erzeugten Labels bieten einem menschlichen Experten ein bereits auf hohem Niveau vor-verarbeiteten Frame (Kamera und assoziierte Punktwolke), sodass der Mensch sich auf die wesentlichen Verbesserungen gegenüber aktuellen KI-Systemen konzentrieren kann.


Vorteile auf einen Blick 

  • Das webbasierte Tool bietet einen einfachen und schnellen Zugang zu den einzelnen Labeling-Modi, sodass die Daten im gewohnten Browser eingesehen und angepasst werden können.
  • Ein übersichtliches Interface und die intuitive Steuerung erlauben ein effizientes Labeling. Das Tool ist vollständig auf hocheffizientes und zeitsparendes Labeling ausgerichtet.
  • Dem User ist es bei der Arbeit mit dem Tool möglich, zwischen einer 2D- und einer 3D-Perspektive zu wechseln.
  • Die verarbeiteten Informationen werden auf einem Server bei FOKUS betreut und können zudem auf einem entsprechenden Kunden-Server liegen.
  • Es ist möglich, dass das Backend der Anwendung vom Kunden selbständig betreut werden kann.


Dieses Bild hat keinen alternativen Text.
Die Datenaufnahme erfolgt mithilfe von Kameras und eines Lidar-Sensors. DCAITI, Fraunhofer FOKUS
Dieses Bild hat keinen alternativen Text.
Im Labeling-Prozess kann man sich mit der Tastatur durch die 3D-Umbebungsszenarien navigieren und in kürzester Zeit den Objekten, die als Punktwolken dargestellt sind, ein Label zuordnen. DCAITI, Fraunhofer FOKUS