Interaktives Tutorial: Die Modelle hinter ChatGPT

Virtuelles Labor am 28.03.2023 10:00-16:00

ACHTUNG: Die vorgesehene Teilnehmerzahl für das Tutorial ist ausgeschöpft und die Liste für die Anmeldung daher geschlossen. 

Agenda: 

  • 10:00-10:45 Überblick KI-Anwendungen
  • 10:45-11:45 Wie Maschinen mit Wörtern rechnen
  • 11:45-12:15 Erkennung von Mustern mit neuronalen Netzen
  • 12:15-12:45 Mustererkennung in Texten und Generierung neuer Texte
  • 12:45-13:30 PAUSE
  • 13:30-14:30 Attention: Wie Sprachmodelle Text verstehen
  • 14:30-15:00 Vorurteile in Sprachmodellen
  • 15:00-15:30 Manipulierbarkeit von Sprachmodellen
  • 15:30-15:45 Generative Bildmodelle
  • 15:45-16:00 Zusammenfassung und Ausblick

ChatGPT [1] ist in aller Munde. Viele Erstnutzer geben in Tagesnachrichten [2] und Youtube-Kanälen ihre Beobachtungen bei der eigenen Benutzung zum besten. Die Einschätzungen bzgl. der Relevanz für den Fortschritt der Menschheit gehen auseinander. Einig ist man sich jedoch darin, dass hier eine sehr faszinierende Technologie mit vielen Chancen und Risiken geschaffen wurde. 

Andere generative KI-Anwendungen wie z.B. DALL-E [3], das basierend auf einer textuellen Beschreibung Bilder in hoher Qualität neu erschaffen kann, fanden ebenfalls Beachtung, erscheinen jedoch manchem zunächst als "Spielerei". Dabei gibt es auch hier Anwendungsmöglichkeiten der hierzu erlenten Bildmuster auch in Branchen weit über die Kreativindustrie hinaus. 

Welche Methoden und Technologien verbergen sich jedoch hinter diesen neuen Entwicklungen? Bereits hier fangen die Probleme an: Die Modelle und Daten, auf denen state-of-the-art Anwendungen wie ChatGPT basieren, sind "closed-source". Das bedeutet, nur der Anbieter kontrolliert, was sich wirklich im Inneren der KI z.B. während einer Chat-Interaktion abspielt. Bei ChatGPT sieht man erste Anzeichen dafür, dass gezielt an der Ethik-Komponente herumgeschraubt wurde. Hier stellt sich unter anderem die Frage: wer tut das wie, mit welcher Ethik und wozu führt ein solcher manueller "Bias"?

Wie auch immer: ein grundlegendes Verständnis der "Innereien" einer solchen KI wird zukünftig auch für Disziplinien außerhalb der IT wichtiger. 

Eine Chance zur Erlangung eines besseren Verständnisses besteht hierbei im Studium von Surrogatmodellen, die nicht die volle Mächtigkeit z.B. von ChatGPT haben, die aber sehr ähnlich funktionieren und dafür vollständig durch den einzelnen kontrollierbar sind. Dies führt jedoch zu der weiteren Herausforderung, dass das Erstellen, Nutzen und Durchleuchten von Modellen wie GPT und DALL-E parallel durch viele Kursteilnehmer bestimmte Hardware benötigt. Diese ist aktuell auf Grund der hohen Nachfrage im KI Bereich knapp und teuer. Eine Lösungsmöglichkeit ist, sich die benötigten Ressourcen für eine relativ kurze Zeit zu mieten. 

Das Tutorial am 28.03. soll IT-ler und nicht IT-ler in einem virtuellen Labor zu den Themenschwerpunkten Textgenerierung und Bildgenerierung zusammenbringen. Zur Teilnahme ist ein Browser mit Internet ausreichend. Das Labor ist ausgestattet mit genügend Rechenleistung, damit jeder Teilnehmer sein eigenes KI-Modell trainieren, selbst mit den Ausgaben experimentieren und das Modell teilweise "durchleuchten" kann. Teilnehmer mit Programmiererfahrung erhalten andere Aufgaben als Teilnehmer ohne Programmiererfahrung, arbeiten jedoch auf denselben Modellen. Damit soll das gegenseitige Verständnis gefördert werden. Begleitend wird es wird es eine inhaltliche Einführung von Prof. Dr. Markus Döhring zusammen mit einigen Denkimpulsen geben, sowie eine Diskussion zwischen den Teilnehmern bzgl. Chancen und Risiken der Technologien. 

Sie können sich zunächst online für das Tutorial registrieren [4]. ACHTUNG: Bitte wählen Sie aktiv Ihre Rolle (h_da Studentin/Student, h_da Mitarbeiter/Mitarbeiterin, h_da Dozentin/Dozent, extern) aus und geben Sie ggf. Ihre h_da Emailadresse an. Auf Grund der li späteren Zeitpunkt ein weiteres Tutorial angeboten. mitierten Teilnehmerzahl werden interne Interessenten bevorzugt behandelt. Bei Bedarf wird zu einem

Weitere Informationen zum zeitlichen Ablauf des Tutorial werden im Laufe des Februars bereitgestellt. 

Für die Masterstudiengänge Data Science und Informatik arbeiten wir aktuell mit dem Kollegen Prof. Dr. Michael Braun (https://fbi.h-da.de/personen/michael-braun, Theoretische Informatik) eine neue Lehrveranstaltung "Grundlagen und Implementierung moderner neuronaler Netzarchitekturen" aus die planmäßig erstmals im Wintersemester 2023/2024 angeboten werden soll. 

[1] https://openai.com/blog/chatgpt/ 

[2] https://www.tagesschau.de/wirtschaft/technologie/chatgpt-microsoft-ki-texte-101.html

[3] https://openai.com/dall-e-2/ 

[4] https://abstimmung.dfn.de/sHXqWMrdZNBVWnQ5 

Kontakt

Forschungsleiter
Prof. Dr. Markus Döhring

Kommunikation Büro: D15, 303

+49.6151.533-68961
Details zur Person