Prof. Dr. Andreas Müller

Wintersemester 2024/25

• Bachelor:
  • Technische Grundlagen der Informatik
  • Programmieren II
• Master:
  • Elaborierte IT-Prozesse (Praxisprojekt)
  • Wissenschaftliches Seminar
  • Auslandsbeauftragter Fachbereich Informatik (gem. mit Prof. Dr. Horsch)

Sommersemester 2024

• Bachelor
  • Technische Grundlagen der Informatik
• Master
  • Elaborierte IT-Prozesse (Praxisprojekt)
  • Wissenschaftliches Seminar

Wintersemester 2023/24

• Forschungssemester am CERN in Genf in der Section Controls and Beam Studies for Protection (TE-MPE-CB)
  • Einsatz von LLMs zur Unterstützung von Softwareentwicklung am CERN
  • Analyse von Beam Interlock Daten mit Machine Learning

• Artificial Intelligence
  • Analyse von Sensordaten für Predictive Maintenance mit Machine Learning
  • Analyse von Time Series Data mit Deep Learning und explainable Artificial Intelligence
  • Lernen auf unbalancierten Daten und im Few Data Limit
  • Erklärbarkeit und Interpretierbarkeit von Vorhersagen künstlicher Intelligenz
• Mobilfunknetze der 5ten Generation
  • Antennentechnik massive MIMO
  • Beamforming, dynamisches Nachführen, Positionsgenauigkeit
  • Integrated Access & Backhaul (IAB) Channel
• Internet of Things
  • Adhoc Netzwerke
  • Protokolle
  • Edge Computing

• "AI-Assisted Thesis Writing" (Masterthesis ggf. Bachelorarbeit): Large Language Models (LLMs) haben eine ausgesprochene Stärke in der Generierung von natürlichsprachlichen Texten basierend auf einer Anfrage. Dadurch finden sie zunehmend Verbreitung auch als Werkzeuge zur Erstellung von wissenschaftlichen Arbeiten. Die Unterstützung reicht dabei von der Übersetzung, sprachliche Überarbeitung bis hin zur Generierung einzelner Abschnitte oder kompletter Texte. Im Rahmen dieser Arbeit soll untersucht werden, inwiefern ein LLM für die Erstellung einer kompletten Bachelorthesis genutzt werden kann sowie welche Aufgaben und Impulse aktuell trotzdem noch beim Autor - hier Navigator des LLMs - verbleiben.

• "AI-Plagiarism Detection" (Masterthesis): Large Language Models (LLMs) finden zunehmend Einsatz zur Bewertung und Generierung von natürlichsprachlichen Texten und unter anderem auch von wissenschaftlichen Arbeiten. Im Rahmen dieser Thesis soll untersucht werden, wie ein LLM zur Detektion eines Plagiats bei einer wissenschaftlichen Arbeit eingesetzt werden kann. Ein Aspekt dieser Arbeit ist die prototypische Untersuchung von übernommenen aber veränderten Textstellen mit Hilfe von Embeddings. Hierzu soll das Internet für den Abgleich thematisch relevant gecrawlt werden und daraus Embeddings erstellt werden, die auf Ähnlichkeit mit Sätzen und Abschnitten der Arbeit geprüft werden. Ein weiterer Aspekt betrifft die Erkennung von Texten die durch LLMs generiert sind mittels eines weiteren LLMs anhand von sprachlichen Auffälligkeiten und Mustern.

• Independent R&D Studies: Gerne betreue ich eine Independent R&D Studie im Masterstudium zur Thematik ARtificial Intelligence, Large Language Models oder  einem Thema aus dem Bereich der Programmierung oder Telekommunikationsnetzwerke.

Haben Sie an einem der Themen Interesse? Schreiben Sie mir eine Email, rufen Sie mich an oder schauen Sie einfach mal bei mir im Büro vorbei!

Sie haben einen eigenen Vorschlag für eine Bachelor- oder Masterthesis oder eine Independent R& Studie aus der Thematik künstliche Intelligenz? ⇒ Nehmen Sie gerne hierzu mit mir Kontakt auf!

Masterarbeiten

• Leveraging a Large Language model to Generate Contract Offers for Client Specific Projects - Antonio Pavic (Sommesemester 2024)
  Open-source Large Language Models (LLM) are able to generate legal documents.
  More specifically, the LLM Mixtral 8x7B Instruct. In this thesis, a use-case has
  been researched where the LLM generates contract offers for an IT-consulting
  company. By being able to generate a first version automatically, the writing
  process can be made more efficient. To be able to prove this claim, the thesis
  focusses on the quality of the generated contract offers. By evaluating them through
  standardised metrics, a survey and qualitative analysis, the following can be said.
  An LLM is capable of generating fair to good contract offers based on prompt
  engineering and Retrieval Augmented Generation (RAG) approaches. Fine-tuning
  an LLM can also show promising results. But, it involves using disproportionally
  more resources with many pitfalls on its way. Over-fitting was a massive problem
  during this research and due to these reasons, the gained benefits of fine-tuning
  were ultimately outweighed.
• Anomaly Detection with Artificial Intelligence: Post-mortem analysis of LHC ion beam losses during high-energy beam dumps - Thorsten Schumacher (Sommersemester 2023)
  Beam dumps and anomalies of ion beams at the Large Hadron Collider at CERN were analyzed an classified with two models: one trained on proton data and another trained on Pb ion data. Based on statistical analysis, linear and three polynomial regression models are developed and thresholds derived. The linear ion model achieves an accuracy of 93.75 % for the classification of ion dumps, while the proton model achieves 79.17 % for the same task. However, there are no differences in the classification of known anomalies such as asynchronous dump tests and 10 Hz dumps. The derived thresholds were implemented in the beam interloc systems at CERN afterwards. The thesis is available here.
• Realisierung eines Deep Reinforcement Learning Agenten für das Kartenspiel Wizard - Lukas Markert (Wintersemeter 2022/23)
  Das Deep Reinforcement Learning Verfahren Categorical Deep Q-Network wird verwendet, um einen intelligenten Agenten für das Spiel Wizard zu implementieren und zu trainieren. Durch die sogenannte Self-Play Methodik erlernt der Agent das Spiel, indem er gegen sich selbst spielt. Die Spielstärke des implementierten Agenten wird untersucht, indem der Agent gegen ältere Versionen von sich selbst und gegen
  echte Menschen antritt, um zu überprüfen, ob ein Categorical Deep Q-Network
  Algorithmus ausreicht, um einen intelligenten Wizard-Agenten umzusetzen.
• Detection of Instabilities in Ion Sources with Machine Learning - Simon Kundrat (Wintersemester 2021/22)
  The isotope ⁴⁸Ca is a workhorse for heavy ion production in particle accelerators. The condition for stabile beam production of this isotope in a microwave ion source was examined based on multivariate data sets monitoring different parameters. The data was first analyzed and labeled by experts and afterwards examined with various supervised machine learning techniques to detect anomalies and instabilities in beam production. 
• Erkennung von Zaubersprüchen aus moderner Fantasy-Literatur mittels eines Transformer-Modells - Marcel Moravek (Wintersemester 2021/22)
  In der Fantasy Literatur zeichnen sich Zaubersprüche durch einen besondereren Gebrauch der Sprache in einem entsprechenden Kontext aus, um eine übernatürliche oder magische Wirkung zu erzielen. Es wurde untersucht, wie gut state-of-the-art Techniken des Natural Language Processing (NLP) dazu in der Lage sind, Zaubersprüche in einem Text zu erkennen. Das vortrainierte Transformer Modell BERT (Bidirectional Encoder Representations from Transformer) wurde hierzu mit Zaubesprüchen aus den Harry Potter Bänden eins bis sechs nachtrainiert und anschließend zur Identifikation von Zaubern im siebten Band herangezogen.
  Aus dieser Arbeit ging bislang eine Veröffentlichung auf arxiv.org hervor: Detecting Spells in Fantasy Literature with a Transformer Based Artificial Intelligence
• Kundenakquise mittels Sammlung öffentlicher Unternehmensdaten und Klassifikation mit Machine Learning - Pavel Efremov (Sommersemester 2021)
  Daten verschiedener Unternehmen werden über das Crawling von Unternehmenswebsites, Aggregation von öffentlichen Daten und Abfragen kommerzieller API-Endpunkte gesammelt. Anschließend werden die Daten mittels fünf verschiedener maschineller Lernalgorithmen untersucht und evaluiert, um potenzielle Neukunden zu identifizieren.
• Evaluation von Prognosemodellen für die Kapazitätsplanung eines Fuhrpark-Dienstleisters - Oliver Kurtz (Sommesemester 2021)
  Vorhersage des Bedarfs eines Fuhrpark-Unternehmens mit Hilfe von Machine Learning Algorithmen. Dazu wird ein SARIMA-Modell, ein Prophet-Modell sowie ein LSTM trainiert und dazu verwendet, die Nachfrage der nachfolgenden 18 Monate vorherzusagen und mit den Prognosen eines menschlichen Planers zu vergleichen. Es zeigt sich, dass das SARIMA-Modell die besten Vorhersagen liefert und teilweise in seiner Genauigkeit auch den menschlichen Planer schlägt.

Bachelorarbeiten

• Unterstützung von Software Entwicklung mit LLMs - Nikolai Zimmermann (Sommersemester 2024)
  Untersuchung von lokalen Large Language Models für die Verwendung in einem Code-Assistenten. Die Methoden Prompting, Retrieval-Augmented Generation und Fine-Tuning wurden prototypisch auf ein eigenes Code Repository angewendet und verglichen. Die Ergebnisse zeigen, dass Retrieval-Augmented Generation vor allem durch die Möglichkeit zur unmittelbaren Kontextabfrage die bessere Methode ist, allerdings Fine-Tuning zusätzlich angewendet werden kann.
• Evaluation of Deep Learning for Road Condition Classification - Dustin Eisenhardt (Wintersemester 2021/22)
  Adverse road conditions cause a significant contribution to many traffic accidents. Therefore it is essential for driver assistance systems to identify critical conditions at least in real time or better in advance. For this task pictures of an onboard camera of a car were analyzed by three different residual neural network architectures with the aim to classify road conditions as dry, moist, wet and snow. Results show that the winning MobileNetV3 can classify pictures with an accuracy comparable to human drivers.
• Anomalieerkennung aus Videodaten von Fahrszenen - Max Vissing (Wintersemester 2020)
  In Videos aus Fahrszenen werden mit Hilfe von künstlicher Intelligenz Anomalien erkannt und vorhergesagt. Dabei wird aus einer kurzen Videosequenz vorhergesagt, ob und wann in der nahen Zukunft ein Fahrzeug anhalten wird. Die Vorhersage erfolgt mittels eines tiefen neuronalen Netzes mit einer ResNet Architektur.
• Anomalieerkennung in Logdaten mithilfe von Informationsgehalt und Entropie - Jan Philipp Poulet (Wintersemester 2020/21)
  Mithilfe von Informationsgehalt und Entropie werden Merkmale zur Anomalieerkennung generiert, auf ihre Eigenschaften untersucht und diese mit den unüberwachten maschinellen Lernmethoden k-Means, Local Outlier Factor und Isolation Forest evaluiert. Es zeigt sich, dass verschiedene Anomalien erkannt werden können und eine zufällige Auswahl in der Regel deutlich übertreffen. 
• Monitoring und Steuerung von Energieflüssen in einer Modellfabrik - Vladislav Spitsyn (Sommersemester 2019)
  Konzeption und Aufbau einer echtzeitfähigen Big Data-Plattform zur Verarbeitung einer großen Menge an Sensordaten aus der ETA Modellfabrik der TU Darmstadt. Neben der Akquise großer Datenmengen werden Algorithmen des maschinellen Lernens in die Software-Architektur integriert um anhand von Sensordaten zukünftige Lastsituationen der Modellfabrik zu prognostizieren. 
• Integration der IBM Watson KI zur Verbesserung des Matching-Algorithmus in ein Jobportal - Vedat Dündar (Wintersemester 2018/19)
  Integration der IBM Watson KI in eine E-Recruiting Software mit dem Ziel ein weiteres Kriterium für den Matching-Algorithmus von Bewerbern zu generieren. Der Matching-Algorithmus vergleicht die Eigenschaften eines Bewerberprofils mit den Eigenschaften einer Vakanz und bewertet, wie passend ein Bewerber zu einer Vakanz ist.

Motivation
Small computers and edge devices, such as the Raspberry Pi, are becoming increasingly powerful. Thus, they already qualify for the intelligent processing of data and control tasks at the network edge.
The type of data involved is as diverse as the underlaying problems themselves. It can be univariate and multivariate time series data of sensors as well as symbols or images of cameras to be recognized. The output of the artificial intelligence can be several kinds of control and regulation tasks.

Project Task
As part of the bachelor project system development in the summer semester, machine learning algorithms are to be investigated for their applicability and performance on a Raspberry Pi. For this purpose, different classical machine learning algorithms as well as different architectures of neural networks will be evaluated on small test problems. A performance comparison of the algorithms with desktop computers and the use of pre-trained models complete the evaluation.
The problems to be investigated in this project can be chosen in coordination with the project management. The goal of the project is a set of demonstrative showcases including documentation that can be used for teaching purposes with little hardware effort.

Requirements
You have a flair for mathematical problems and approaches to solving them. Programming experience in C++ and preferably Python are as natural for you as clean documentation and versioning of your projects. You are communicative and enjoy working in a team.The documentation will be realized by means of an open book project and a Github repository. The project language will be English.

Literature
[1] Donald J. Norris, Beginning Artificial Intelligence with the Raspberry Pi, Springer, 2017, Beginning Artificial Intelligence with the Raspberry Pi | SpringerLink
[2] K. Mohaideen Abdul Kadhar, G. Anand, Data Science with Raspberry Pi - Real-Time Applications Using a Localized Cloud, Springer 2021, Data Science with Raspberry Pi | SpringerLink
[3] Jeff Cicolani, Beginning Robotics with Raspberry Pi and Arduino - Using Python and OpenCV, Springer 2021, Beginning Robotics with Raspberry Pi and Arduino | SpringerLink
[4] Ashwin Pajankar, Raspberry Pi Image Processing Programming - Develop Real-Life Examples with Python, Pillow, and SciPy, Springer 2017, Raspberry Pi Image Processing Programming | SpringerLink
[5] Donald J. Norris, Machine Learning with the Raspberry Pi - Experiments with Data and Computer Vision, Springer 2020, Machine Learning with the Raspberry Pi | SpringerLink

• L.Felsberger, A. Apollonio, T. Cartier-Michaud, A. Müller, B. Todd und D. Kranzlmüller
  Explainable Deep Learning for Fault Prognostics in Complex Systems: A Particle Accelerator Use-Case, International Cross-Domain Conference for Machine Learning and Knowledge Extraction, 'CD-Make 2020' vom 25.-28.08.2020 in Dublin, (2020)
  doi: dx.doi.org/10.1007/2F978-3-030-57321-8_810
• I. Stepanets, G. Fokin und A. Müller, Beamforming Techniques Performance Evaluation for 5G massive MIMO Systems, Tagungsband der Konferenz ‘CERC 2019‘ vom 29.-30.03.2019 in Darmstadt, (2019).
• I. Stepanets, G. Fokin und A. Müller,
  Capacity estimation ways of massive MIMO systems,
  T•Comm – Telecommunications and transport, Volume 12, No 10, 64-69, (2018).
• D. Baums, A. Müller und H. Kaufer, Intelligente Netze verbinden Netze, Tagungsband der Konferenz 'Konvergenz in der Telekommunikation' vom 07.-08.11.2000 in Graz, ISBN 3-85133-021-8.