• Navigation überspringen
  • Zur Navigation
  • Zum Seitenende
Organisationsmenü öffnen Organisationsmenü schließen
Lehrstuhl für Informatik 6
  • FAUZur zentralen FAU Website
  1. Friedrich-Alexander-Universität
  2. Technische Fakultät
  3. Department Informatik
  • en
  • de
  • Kontakt
  • Impressum
  • Datenschutz
  • Barrierefreiheit
  1. Friedrich-Alexander-Universität
  2. Technische Fakultät
  3. Department Informatik

Lehrstuhl für Informatik 6

Menu Menu schließen
  • Lehrstuhl
    • Aktuelles
    • Über uns
    • Personen
    • Kontakt
    Hauptseite Lehrstuhl
  • Forschung
    • Evolutionäre Informationssysteme
      • Sprechaktbasiertes Fallmanagement
      • Open and Collaborative Query-Driven Analytics
      • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
      • Schemainferenz und maschinelles Lernen
    • Datenqualität
      • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
      • Datenqualität und Innovationsfähigkeit von Medizinprodukten
    • Datenintegration
      • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
      • Open and Collaborative Query-Driven Analytics
      • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
      • Schemainferenz und maschinelles Lernen
    • Prozessmanagement
      • Sprechaktbasiertes Fallmanagement
    • Datenbanksysteme
      • REAPER: A Framework for Materializing and Reusing Deep-Learning Models
      • Know Your Queries!
      • Bewertung von Datenspeichersystemen
      • Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse
      • Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)
      • Schemainferenz und maschinelles Lernen
      • Architektur von Nicht-Multiplen Autoencodern mit Nicht-Verlustbehafteter Informations-Agglomeration (Arbeitstitel, noch vorläufig)
      • Data Stream Application Manager
    • Datenstromsysteme
      • Data Stream Application Manager
      • Systemübergreifende Optimierung von Datenstromanfragen
    • Datenmanagement in den Digital Humanities
      • Franken in historischen Reiseberichten
      • Campusnetzwerk Digitale Geistes- und Sozialwissenschaften
    • Moderne Datenbanksysteme
    • Abgeschlossene Forschungsprojekte
    • Veröffentlichungen
    Hauptseite Forschung
  • Lehre
    • Lehrveranstaltungen
    • Curriculum
    • Examensarbeiten
    • Prüfungsinformationen
    Hauptseite Lehre
  1. Startseite
  2. Forschung
  3. Datenbanksysteme
  4. Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)

Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)

Bereichsnavigation: Forschung
  • Abgeschlossene Forschungsprojekte
    • BPM 2016
    • BPM 2017
    • Forschungsprojekte von Prof. Meyer-Wegener an der TU Dresden
  • Veröffentlichungen
  • Evolutionäre Informationssysteme
    • Sprechaktbasiertes Fallmanagement
    • Open and Collaborative Query-Driven Analytics
    • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
    • Schemainferenz und maschinelles Lernen
  • Datenqualität
    • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
    • Datenqualität und Innovationsfähigkeit von Medizinprodukten
  • Datenintegration
    • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
    • Open and Collaborative Query-Driven Analytics
    • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
    • Schemainferenz und maschinelles Lernen
  • Prozessmanagement
    • Sprechaktbasiertes Fallmanagement
  • Datenbanksysteme
    • REAPER: A Framework for Materializing and Reusing Deep-Learning Models
    • Data Stream Application Manager
    • Know Your Queries!
    • Bewertung von Datenspeichersystemen
    • Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse
    • Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)
    • Schemainferenz und maschinelles Lernen
    • Architektur von Nicht-Multiplen Autoencodern mit Nicht-Verlustbehafteter Informations-Agglomeration (Arbeitstitel, noch vorläufig)
  • Datenstromsysteme
    • Data Stream Application Manager
    • Systemübergreifende Optimierung von Datenstromanfragen
  • Datenmanagement in den Digital Humanities
    • Franken in historischen Reiseberichten
    • Campusnetzwerk Digitale Geistes- und Sozialwissenschaften
  • Moderne Datenbanksysteme

Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)

Maximilian Langohr

Maximilian Langohr, M. Sc.

Department Informatik (INF)
Lehrstuhl für Informatik 6 (Datenmanagement)

Raum: Raum 08.151
Martensstraße 3
91058 Erlangen
Bayern
  • Telefon: +49 9131 85-27800
  • E-Mail: maximilian.langohr@fau.de
  • Webseite: https://www.cs6.tf.fau.de/person/maximilian-langohr/
  • Xing: Seite von Maximilian Langohr
  • Google Scholar: Seite von Maximilian Langohr
  • ORCID: Seite von Maximilian Langohr

Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)

(Drittmittelfinanzierte Einzelförderung)

Titel des Gesamtprojektes:
Projektleitung: Klaus Meyer-Wegener
Projektbeteiligte: Maximilian Langohr
Projektstart: 1. August 2021
Projektende: 31. Juli 2024
Akronym: ReProVide II INF6
Mittelgeber: Deutsche Forschungsgemeinschaft (DFG)
URL: https://www.dfg-spp2037.de/me943-9/

Abstract

Die schnelle und energieeffiziente Analyse von Petabytes an Daten erfordert eine massiv parallele Verarbeitung bereits an der Datenquelle. Das Ziel des ReProVide-Projekts ist es, neuartige FPGA-basierte Lösungen zur intelligenten Speicherung und quellnahen Datenverarbeitung zusammen mit neuartigen Optimierungstechniken bereitzustellen, die die Geschwindigkeit und Rekonfigurierbarkeit von FPGA-Hardware für die skalierbare und leistungsfähige Reduktion großer Datenmengen nutzen. 
In Phase I haben wir die dafür notwendigen Grundlagen geschaffen, insbesondere einen FPGA-basierten Architekturentwurf für rekonfigurierbare Data-Provider-Units (RPUs). RPUs bieten direkte Schnittstellen zu einer Vielzahl von Speichertypen (wie SSDs). Die Architektur ermöglicht die Ausführung von Software, aber auch das dynamische Laden von anfragespezifische Hardware-Beschleunigern durch dynamische Hardware-Rekonfiguration des FPGAs. Für die Integration von RPUs in ein DBMS wurden neue Kostenmodelle entwickelt, die die Eigenschaften eines RPU-Systems berücksichtigen. Wir haben eine neuartige hierarchische (mehrstufige) Abfrage-Optimierungstechnik erfunden, um zu entscheiden: 
a) welche Operationen sich lohnen, einer RPU zugeordnet zu werden (Query Partitioning) und b) wie die zugeordneten (Sub-)Abfragen oder Datenbankoperatoren auf der RPU eingesetzt und ausgeführt werden sollen (Query Placement). 
Der Abfrageoptimierer teilt sich die Arbeit zwischen dem globalen Optimierer des DBMS und einem architekturspezifischen lokalen Optimierer, der auf dem CPU-System einer RPU läuft. In Phase II sind unsere Forschungsziele folgende: 
1.) Datenstromverarbeitung: RPUs könnten auch für die Filterung von Datenströmen vielfältige Vorteile bieten. Hier muss eine Fülle grundlegend neuer Hardwarekonzepte zur Unterstützung nicht- relationaler und vor allem von Datenstromoperatoren untersucht werden. Angestrebt werden RPUs, die für eine viel vielfältigere Klasse von Aufgaben einsetzbar sind, einschließlich Fensteroperationen und Datenvorbereitungsfunktionen. 
2.) Skalierbarkeit: Die Benutzerinteraktion mit modernen Datenbanken umfasst in der Regel nicht nur eine, sondern eine Abfolge von Abfragen auf relationalen und nicht standardisierten Daten (Anfragesequenzen). Gleichzeitig laufen mehrere Anwendungen gleichzeitig. Wir werden einen RPU-Cluster mit acht Knoten entwerfen, der an Netzwerk und Speicher angeschlossen ist und die verteilte und parallele Datenverarbeitung auf großen Datenbanken und Datenströmen ermöglicht. Dies erfordert Konzepte zur Datenpartitionierung sowie neuartige Techniken zur Anfrageoptimierung unter Nutzung von Informationen über Anfragesequenzen. 
3.) Demonstrator: Als Testplattform und Nachweis der Vorteile des ReProVide-Ansatzes im Allgemeinen und eines FPGA-basierten RPU-Clusters im Besonderen wollen wir sowohl analytisch als auch experimentell die Margen der Energieeinsparungen bewerten, die durch eine datennahe Verarbeitung möglich werden.

Publikationen

Abschlussarbeiten

 

Bachelorarbeit –  KR@KEN “Planung und Implementierung eines Anfrageprozessors zur Ausführung von Teilgraphen relationaler logischer Ausführungspläne” [Vergeben]

Im Rahmen der Bachelorarbeit soll eine solche prototypische Implementierung geplant und umgesetzt werden. Dabei sind folgende Punkte besonders wichtig:

  • Implementierung der physischen Operatoren zur Ausführung der Teilgraphen
  • Integration von möglichen Verzögerungen, die jederzeit angepasst werden können
  • Modularer Aufbau des Prototypens für zukünftige Erweiterungen

Der entwickelte Prototyp muss mit dem bestehenden System kommunizieren können. Nötige Schnittstellen und Protokolle sind bereits vorhanden.  Die Implementierung des Prototypens findet in Java statt. Ein wichtiger Teil der Arbeit ist neben der Ausarbeitung der Bachelorarbeit die Dokumentation des Codes.

 

Masterarbeit – SKYSHARK Konzeptionierung und Entwicklung eines Datenbank-Benchmarks auf Basis von Echtzeit Flugdaten (ADS-B) und Flugplänen” [Vergeben]

 

Im Rahmen der Masterarbeit soll ein Prototyp entwickelt werden, der es ermöglicht Echtzeit Flugdaten mittels Diensten wie OpenSky Network (https://opensky-network.org ) zu sammeln und mit Informationen zu Flugplänen anzureichern. Weiterhin sollen Anfragen aus den oben genannten Kategorien konzeptioniert und an Hand der vorhandenen Daten getestet und evaluiert werden. Als letztes solle der so entwickelte Benchmark mit bestehenden Benchmarks, verglichen und Vor- und Nachteil herausgestellt werden.

 

Personen

 

Maximilian Langohr

Maximilian Langohr, M. Sc.

Martensstraße 3
91058 Erlangen
Bayern
  • Telefon: +49 9131 85-27800
  • E-Mail: maximilian.langohr@fau.de
  • Webseite: https://www.cs6.tf.fau.de/person/maximilian-langohr/
  • Xing: Seite von Maximilian Langohr
  • Google Scholar: Seite von Maximilian Langohr
  • ORCID: Seite von Maximilian Langohr
Mehr › Details zu Maximilian Langohr
Klaus Meyer-Wegener

Prof. i. R. Dr. Klaus Meyer-Wegener

Martensstraße 3
91058 Erlangen
  • Telefon: +49 9131 85-27892
  • E-Mail: klaus.meyer-wegener@fau.de
  • Webseite: https://www.cs6.tf.fau.de/person/klaus-meyer-wegener/
Mehr › Details zu Klaus Meyer-Wegener
Lehrstuhl für Informatik 6 (Datenmanagement)
Friedrich-Alexander-Universität Erlangen-Nürnberg

Martensstraße 3
91058 Erlangen
  • Kontakt
  • Impressum
  • Datenschutz
  • Barrierefreiheit
Nach oben