Das Institut für den Schutz terrestrischer Infrastrukturen widmet sich seit seiner Gründung im Jahr 2019 dem Schutz und der Sicherheit kritischer Infrastrukturen. Wir entwickeln Konzepte, Verfahren und Technologien, die die Widerstandsfähigkeit (Resilienz) von Organisationen und Systemen stärken und verbessern. Dabei haben wir sowohl den Menschen, die Technik als auch das Gesamtsystem im Blick.

Kamerabasierte Drohnendetektionssysteme lokalisieren potenzielle Drohnen im Bild mithilfe von Bounding Boxes und weisen jeder Detektion einen Konfidenzwert zu. Für eine sicherheitsrelevante Bewertung in urbanen Überwachungsszenarien reichen diese Informationen jedoch häufig nicht aus. Entscheidend sind zusätzlich semantische Merkmale wie Bauform, visuelle Eigenschaften und insbesondere mögliche Nutzlasten, da diese wesentlich zur Einschätzung des Gefährdungspotenzials beitragen können.

Vision-Language-Modelle (VLMs) bieten die Möglichkeit, visuelle Drohnendetektionen um semantische Informationen zu ergänzen. Durch die Verknüpfung visueller Merkmale mit sprachlichen Konzepten können sie beispielsweise Aussagen zu Bauform, Ausstattung und potenziellen Nutzlasten ableiten. In Kombination mit einem echtzeitfähigen Detektor entsteht eine zweistufige Verarbeitungskette, in der zunächst relevante Bildregionen lokalisiert und anschließend durch ein VLM analysiert werden. Dadurch entwickelt sich die reine Lokalisierung zu einer semantisch angereicherten Analyse, die als Grundlage für ein operativ verwertbares Lagebild dienen kann.

Das erwartet dich

Du bearbeitest eine aktuelle Forschungsfrage an der Schnittstelle von Objektdetektion, multimodalem Deep Learning und sicherheitskritischen Anwendungen. Im Mittelpunkt steht hierbei die folgende Forschungsfrage:
In welchem Umfang können VLMs die Ergebnisse einer vorgelagerten Drohnendetektion um sicherheitsrelevante semantische Informationen, insbesondere zu potenziellen Nutzlasten und weiteren visuellen Merkmalen, erweitern, und mit welcher Zuverlässigkeit und Recheneffizienz ist dies unter realitätsnahen Einsatzbedingungen möglich?

Deine Aufgaben

• Einarbeitung in den Stand der Technik zu VLMs, Open-Vocabulary-Ansätzen, kamerabasierter Drohnendetektion und klassischer Payload-Erkennung
• Auswahl und Untersuchung geeigneter VLMs zur semantischen Analyse detektierter Drohnen, insbesondere im Hinblick auf ihr Zero-Shot-Potenzial
• Entwicklung und Untersuchung geeigneter Prompting- und Inferenzstrategien für die zuverlässige Extraktion semantischer Merkmale
  Systematische Evaluation hinsichtlich Erkennungsleistung, semantischer Konsistenz, Robustheit gegenüber Fehlbeschreibungen und Halluzinationen sowie Latenz und Rechenaufwand
• Gegenüberstellung ausgewählter VLMs mit klassischen, domänenspezifisch trainierten Verfahren zur Payload-Erkennung
• Kritische Analyse und Einordnung der Ergebnisse im Hinblick auf die operative Verwertbarkeit im Überwachungskontext
• Dokumentation von Methodik und Ergebnissen in einer schriftlichen Ausarbeitung

Das bringst du mit

• Laufendes Masterstudium in Informatik, Mathematik, Optotechnik oder einem vergleichbaren Studiengang 
• Gute Programmierkenntnisse in Python sowie praktische Erfahrung mit Deep-Learning-Frameworks (idealerweise PyTorch)
• Grundlegendes Verständnis von Computer Vision und Deep Learning. Interesse an multimodalen Modellen (insbesondere VLMs) von Vorteil
• Selbstständige und strukturierte Arbeitsweise

Wir freuen uns darauf, dich kennenzulernen!

Fragen zu dieser Position (Kennziffer 5840) beantwortet dir gerne:

Dr. Tobias Koch 
Tel.: +49 2241 20148 55