Vorlesung Simulation und Reinforcement Learning

Vorlesung

Überblick

Die Veranstaltung Simulation und Reinforcement Learning ist eine Lehrveranstaltung, die für den kommenden Masterstudiengang KI und Data Science vorgesehen ist, der wahrscheinlich im Sommersemester 2022 beginnen wird. Der Vorlesungsanteil dieser Veranstaltung ist als Screencast aufgezeichnet und wird in der Ausführung durch ein Tutorium und eine Projektarbeit ergänzt. Die Vorlesung besteht aus einer Übersichtsvorlesung und einem Block zum Thema Modelling & Simulation sowie einem Block zum Thema Reinforcement Learning.

Übersicht

Vorlesung 1: Übersicht

Übersicht und Ablauf

  • Was ist Modellierung & Simulation ?
  • Was ist Reinforcement Learning ?
  • Python Umgebung
  • Ablauf und Zielsetzung

VorlesunG Ansehen 

Modellierung & Simulation

Vorlesung 2: Projektaufbau

Aufbau von M&S Projekten

  • Rahmenbedingungen
  • Arten von Modellen
  • Aufbau von Modellen
  • Verifikation und Validierung
  • Projektablauf

Vorlesung ansehen

Vorlesung 3: Diskrete Simulation

Einführung in diskrete Simulation

  • Was ist ein diskretes Modell
  • Zufallsaspekte in diskreten Modellen
  • Aufbau von SimPy

Vorlesung ansehen

Vorlesung 4: Beispiel

Beispiel

  • Restaurant Beispiel
  • Informal Conceptual Model
  • Formal Conceptual Model
  • Implementierung in SimPy
  • Graphische Auswertung

Vorlesung ansehen

Vorlesung 5: Parallele Simulation

Parallele Diskrete Simulation

  • Problem
  • Time Warp Simulation
  • Reverse Computing

Vorlesung ansehen

Vorlesung 6: Kontinuierliche Simulation

Kontinuierliche Simulation

  • Darstellung des Problems
  • Numerik gewöhnlicher Differentialgleichungen
  • Umsetzung in Python
  • Übersicht partielle Differentialgleichungen

Vorlesung ansehen

Vorlesung 7: Empirische Modelle

Empirische Modelle

  • Problemformulierung
  • Optimierung
  • Umsetzung in Python
  • Surrogate

Vorlesung ansehen

Vorlesung 8: Visualisierung

Studien und Visualisierung

  • Studienformen
  • MatplotLib
  • Plotly
  • NetworkX

Vorlesung ansehen

Reinforcement Learning

Vorlesung 9 : Grundlagen

Grundlagen Reinforcement Learning

  • Was ist Reinforcement Learning
  • Markov-Ketten
  • Episodic vs Continuous Task
  • Value, Q-Value, Advantage, Regret
  • Bellmann Gleichung
  • Dynamic Programming
  • On Policy vs Off Policy Learning
  • Exploration vs Exploitation Dilemma
  • K-arm bandit and UCB strategies

Vorlesung ansehen

Vorlesung 10: Tabellen

Tabellenverfahren

  • Genereller Aufbau von RL – Verfahren
  • Idee der Tabelle
  • Monte-Carlo Verfahren
  • Importance Sampling für Off-Policy Verfahren
  • Temporal Difference Learning
  • Q-Learning

Vorlesung ansehen

Vorlesung 11: Neuronale Netze

Approximation mit Neuronalen Netzen

  • Warum NNs
  • Aufbau der NNs
  • Problem mit NNs
  • Deep Q-Learning
  • Probleme und Erweiterungen

Vorlesung ansehen

Vorlesung 12: Policy Gradient

Policy basierte Verfahren

  • Idee der Policy basierten Verfahren
  • Cross Entropy Methode
  • Idee der Policy Gradient Verfahren
  • Reinforce Verfahren
  • Actor Critic
  • Erweiterungen

Vorlesung ansehen

Vorlesung 13: Spezialitäten

Spezielle Verfahren

  • Zwischenzusammenfassung
  • PPO (Proximal Policy Optimization)
  • SAC (Soft Actor Critic)

Vorlesung ansehen

Vorlesung 14: Alpha Zero

Alpha Zero

  • Historie / Übersicht
  • Monte Carlo Tree Search
  • Algorithmus Alpha Zero
  • Implementierung

Vorlesung ansehen

Vorlesung 15: Counterfactual Regret Minimization

Counterfactual Regret Minimization

  • Einführung
  • Theorertische Konzepte
  • Iterationsverfahren
  • Umsetzungsmöglichkeiten

Vorlesung ansehen

Titelbild des Screencasts der Veranstaltung "Simulation und Reinforcement Learning"

Fachbereich Informatik

  • Schneidershof
  • 54293 Trier

Fachrichtungen

Rechtliches

Service

back-to-top nach oben