Autonomous Driving with Generative Pre-Trained Transformers

ADRIVE-GPT ist ein Projekt im F?rderprogramm "Forschung an Fachhochschulen in Kooperation mit Unternehmen (FH-Kooperativ)" unter Beteiligung der Hochschule München und der Hochschule Esslingen, sowie den industriellen Partnern Mercedes-Benz AG und Spleenlab GmbH. 

Laufzeit: 01.01.2025 - 30.06.2029
Projekttr?ger: VDI Technologiezentrum GmbH (VDI-TZ)
Gef?rdert vom Bundesministerium für Bildung und Forschung

 

 

Projektinhalte

Das Forschungsprojekt ADRIVE-GPT widmet sich der Erforschung und Anwendung von verankerten Sprachmodellen (Large Language Models, LLMs) im Kontext des automatisierten Fahrens. Bisherige Studien haben LLMs nur für einfache Aufgaben in der station?ren Robotik betrachtet. In ADRIVE-GPT soll untersucht werden, wie multimodale Sensorwahrnehmungen von Kamera- und Lidarsensorik mit natürlicher Sprache kombiniert werden k?nnen, um Aktionspl?ne für ein unfallfreies und menschen?hnliches autonomes Fahren zu generieren. Darüber hinaus wird untersucht, ob der Lernprozess durch bereits prozessiertes Wissen über statische und dynamische Objekte unterstützt werden kann.

Weiter wird erforscht, ob Verkehrsregeln oder detaillierte Karteninformationen explizit eingegeben werden müssen oder ob das Modell diese Informationen implizit erlernen kann. Letzteres würde dem Modell erm?glichen, unabh?ngiger von festen Regeln und Informationen zu agieren, und das Modell insgesamt skalierbarer machen. Ein weiterer Fokus von ADRIVE-GPT liegt auf der Erforschung und Bewertung von Self-Prompting-Verfahren im Kontext des automatisierten Fahrens. Hier soll das Modell in die Lage versetzt werden selbstst?ndig weitere Prompts zu generieren und Aktionssequenzen zu erstellen. Durch Feedback-Schleifen und Reflexion kann das Modell sich selbst korrigieren, Alternativen identifizieren und seine Leistung auf neuen Szenarien überwachen und verbessern.

Im Laufe des Projektes soll die Integration der oben beschriebenen Innovationen zur Validierung der Ziele in mindestens einem Fahrzeugdemonstrator erfolgen und auf gro?en Datens?tzen der Industriepartner evaluiert werden. ADRIVE-GPT tr?gt mit mehreren Innovationen zur Weiterentwicklung einer hochskalierbaren Mobilit?tstechnologien bei und st?rkt die Position Deutschlands auf dem Gebiet des automatisierten Fahrens und der künstlichen Intelligenz.

Publikationen

Gef?rdert von

apply

Interesse geweckt? Informier dich! über unser Studienangebot

Ihre pers?nliche AnsprechpersonMelden Sie sich bei

Foto Gabriele Gühring

Prof. Dr. rer. nat. Gabriele Gühring

Montag 11:15 Uhr - 12:15 Uhr

in meinem pers?nlichen Webex Raum

https://hs-esslingen.webex.com/meet/gabriele.guehring

oder in meinem Büro F02.210

Tel: +49 711 397-4376
E-Mail: Gabriele.Guehring@hs-esslingen.de
Nachricht senden