Prof. Dr. Markus Döhring

https://obs.fbi.h-da.de/mhb/modul.php?nr=41.4800&sem=20132

Im Hauptseminar werden von den Studierenden in Eigenarbeit aktuelle Themen aus dem Bereich multimodale Foundation Modelle wissenschaftlich aufbereitet. Dazu zählen vor allem Modelle, welche über die Verarbeitung der bisher am meisten vertretenen Modalitäten (Bild und Text) hinausgehen: 

• Gemeinsame Embedding-Spaces von Modalitäten: https://imagebind.metademolab.com/
• Tabellarische Foundation Modelle: https://github.com/PriorLabs/TabPFN
• 3d Understanding: https://yingqinghe.github.io/Awesome-LLMs-meet-Multimodal-Generation/#3d-understanding 
• Bewegung: https://motion-gpt.github.io/ 

Unterstützung erfolgt durch den Dozenten beim Schreiben der wissenschaftlichen Arbeit (ggf. als Vorbereitung zur Masterarbeit) und durch die Organisation gemeinsamer Austauschrunden mit Vorstellung von Zwischenständen. 

Organisation: Geplant ist ein Kickoff-Termin Ende April, der Abschlussworkshop ist für Ende September geplant, damit genügend Zeit zur Bearbeitung auch außerhalb der Vorlesungszeit bleibt. Vor dem Kickoff-Termin werden mögliche Themenbereiche vom Dozenten vorgeschlagen. Auch eigene Vorschläge sind willkommen. 

Weitere Details zu Inhalten und Organisation folgen zum Vorlesungsstart. 

Im kommenden Sommersemester biete ich wieder die Lehrveranstaltung „Grundlagen und Implementierung moderner neuronaler Netzarchitekturen“ an, die Prof. Braun und ich entwickelt haben. Inhaltlich im Zentrum stehen die Transformer-Modelle, ein wesentlicher Bestandteil der aktuellen Large Language Models wie ChatGPT. Das dazu nötige Rüstzeug im allgemeinen Bereich der neuronalen Netze wird umfangreich vermittelt. Als T-Modul (Informatik) bzw. DS-I Modul (Data Science) hat das Modul entsprechend mathematische Schwerpunkte, die aber praxisnah vermittelt werden. 

Prof. Braun und ich haben im ersten Lauf bereits einige hervorragende Lehrvideos produziert. Diese werden zu einem Großteil zur asynchronen Wissensvermittlung eingesetzt. Dementsprechend soll die Zeit in den Lehrveranstaltungen primär für (ggf. auch individuelle) Lernbegleitung, Fragenklärung, Übungen, gemeinsame Experimenten und Praktikumsinhalte verwendet werden. 

Die Inhalte aus aktueller Sicht sind: 

•    Einführung neuronale Netze
•    Gradienten und Backpropagation
•    Affine Transformation und Perzeptron
•    Modelloptimierungen: Dropout, Normalisierung
•    Klassifikation und Softmax
•    Kullback-Leibler-Divergenz und Kreuzentropie
•    Sequence-To-Sequence
•    Attention-Mechanismus
•    Transformer
•    Fine-Tuning vortrainierter Transformermodelle
•    Implementierungsaspekte (z.B. numerische Stabilität, Quantisierung)
•    Weitere Transformer-Architekturen

Der Praktikumsteil des Moduls ist aktuell noch „experimentell“, d.h. die Erwartung an Teilnehmerinnen und Teilnehmer ist, diesen aktiv durch Vorschläge und Feedback mitzugestalten. 
Es gibt hierzu bereits einige Ideen und Aufgabenstellungen.

Daraus ergibt sich insgesamt folgender grober Plan für die Organisation der Lehrveranstaltung: 

• 1.5 Blöcke (3SWS) pro Woche im Stundenplan, die überwiegend zur Aufgabenbearbeitung, zur Klärung von Fragen 
• Zusätzliche individuelle Beratung durch den Dozente (auch online) bedarfsweise
• Das Praktikum wird in 2-3er Teams bearbeitet. 

Für den Kurs ist mir wichtig, dass Sie eine hohe Eigenmotivation mitbringen, an dem Thema wirklich interessiert sind, Sie sich auf die mathematischen „Innereien“ von neuronalen Netzen einlassen, mir öfters Feedback geben und Sie Lust haben aktiv das Praktikum mitzugestalten.

Modulbeschreibung siehe: https://obs.fbi.h-da.de/mhb/modul.php?nr=30.7312&sem=20142 

Die Lehrveranstaltung wird voraussichtlich angeboten durch einen Mix aus: 

• überwiegend Präsenzveranstaltungen mit grundsätzlich hohem Interaktionsanteil. . 
• Teilweise Wissensvermittlung, anstatt klassischer "Vorlesung" durch kompakte, durch den Dozenten aufgezeichnete Lehrvideos
• Quellenangaben mit Scans/Ebooks zum Durchlesen
• Q&A Sessions (Inverted Classroom)

Das Praktikum wird in 2er Gruppen grundsätzlich in Präsenz bearbeitet. Es besteht immer die Möglichkeit, Fragen an Dozenten und Tutoren über ein Moodle-Forum zu richten. 

Im Praktikum wird mit PowerDesigner + PostgreSQL gearbeitet. 

Sie haben eine spannende Idee für ein eigenes Projekt im Bereich Data Mining? Sie wollten z.B. schon immer einmal an einer Data Science Competition wie Kaggle teilnehmen? Bei ausreichender inhaltlicher Tiefe könnte sich hier das individuell gestaltbare Modul "Vertiefende F&E Studien" anbieten. Sprechen Sie mich bei Interesse darauf an. 

https://obs.fbi.h-da.de/mhb/modul.php?nr=41.4974&sem=20151

Für das Sommersemester 2025 habe ich leider keine freien Kapazitäten mehr zur Betreuung von Abschlussarbeiten. Im Wintersemester 25/26 befinde ich mich voraussichtlich im Forschungssemester. Ab dem Sommersemester 2026 betreue ich gerne wieder Abschlussarbeiten, thematisch bevorzugt im Bereich Data-, Text- und Web-Mining. Sprechen Sie mich dazu bitte frühzeitig an.

Die betreuten Masterarbeiten im Studiengang Data Science sind hier hinterlegt: https://fbmn.h-da.de/abschlussarbeiten-data-science

Für die betreuten Abschlussarbeiten im Bereich Informatik existiert aktuell leider kein zentrales Repository. 

Allgemeine Hinweise und Vorlagen zu Bachelorarbeiten finden Sie hier:https://fbi.h-da.de/studium/studienorganisation/studienorganisation-b-sc-informatik/abschlussarbeit 

Eine sehr gut bewertete Bachelorarbeit als Beispiel finden Sie hier: Quantifizierung des Rezyklatgehaltes in Kunststoffteilen für den Automobilbau mit Hilfe von Machine Learning-Methoden (Dennis Imhof, 2020) - Der Umfang ist keinesfalls eine Zielgröße für eine übliche Bachelorarbeit

• Betreuung von dualen Praxisphasen und Bachelorarbeiten 
• DataForge: Informationsextraktion aus Emails gemeinsam mit der R+V  https://www.ruv.de/newsroom/blog/2024-06-28-data-forge

Der Rohstoff der Zukunft, Dieburger Anzeiger vom 9.5.2019

Mein Körper, Meine Daten, WDR 5, 26.05.2019

SAS Blog: Hochschulen der Zukunft, 5.10.2020

ChatGPT in der Lehre, Frankfurter Rundschau vom 03.07.2023