Entwicklung und Implementierung einer Convolutional Neural Network basierten Echtzeit-Kollisionserkennung auf mobilen iOS-Endgeräten

Mit der Einführung des Convolutional Neural Networks hält das Deep Learning Einzug im Bereich der maschinellen Bildverarbeitung und bringt in kurzen Abständen immer genauere und schnellere Verfahren zur Detektion von beliebigen Objekten in Bildern hervor. Diese enormen Fortschritte ermöglichen in vielen darauf aufbauenden Bereichen starke Verbesserungen und neue Möglichkeiten, so auch im Bereich der Kollisionserkennung.

Um von diesen Entwicklungen Gebrauch zu machen, wurde im InfoTech Labor der Hochschule Trier anhand der iPad-Roboter eine bildverarbeitende Kollisionserkennung umgesetzt, welche als App über das iPad Mini abgespielt werden kann.

Die Struktur des hierbei verwendeten Algorithmus lautet wie folgt: Die Objekterkennung, bei welcher das Convolutional Neural Network zum Einsatz kommt, liefert für die einzelnen Frames aus dem Live-Videofeed der Frontkamera Detektionen, sie markiert also die Position entdeckter iPad-Roboter. Um die Trajektorie eines getrackten Objektes zu erhalten, weist der sogenannte Ungarische Algorithmus die neuen Detektionen bestehenden Tracks zu. Hierbei greift er auf Prädiktionen des Kalman Filters zurück, welche eine Schätzung liefern, wo sich ein bereits getracktes Objekt im nächsten Frame vermutlich befinden wird. Der Kalman Filter tätigt diese Prädiktionen mithilfe eines linearen, dynamischen Modells der Tracks und kombiniert diese dann mit den tatsächlich zugewiesenen Detektionen. Ein Track-Management handhabt zusätzlich die Initialisierung und Terminierung von Tracks. Die so bestimmte Trajektorie kann daraufhin analysiert werden, ob sie auf einen definierten Schutzbereich zusteuert, also eine Kollisionserkennung auslöst, oder nicht.

Erkannte Kollisionen werden von der App in rot markiert, wobei sich fortführende Arbeiten damit beschäftigen können, in solchen Fällen ein Ausweichmanöver einzuleiten und dies über Kommunikation mit anderen iPad-Robotern zu koordinieren.