• Navigation überspringen
  • Zur Navigation
  • Zum Seitenende
Organisationsmenü öffnen Organisationsmenü schließen
Lehrstuhl für Informatik 6
  • FAUZur zentralen FAU Website
  1. Friedrich-Alexander-Universität
  2. Technische Fakultät
  3. Department Informatik
  • en
  • de
  • Kontakt
  • Impressum
  • Datenschutz
  • Barrierefreiheit
  1. Friedrich-Alexander-Universität
  2. Technische Fakultät
  3. Department Informatik

Lehrstuhl für Informatik 6

Menu Menu schließen
  • Lehrstuhl
    • Aktuelles
    • Über uns
    • Personen
    • Kontakt
    Hauptseite Lehrstuhl
  • Forschung
    • Evolutionäre Informationssysteme
      • Sprechaktbasiertes Fallmanagement
      • Open and Collaborative Query-Driven Analytics
      • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
      • Schemainferenz und maschinelles Lernen
    • Datenqualität
      • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
      • Datenqualität und Innovationsfähigkeit von Medizinprodukten
    • Datenintegration
      • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
      • Open and Collaborative Query-Driven Analytics
      • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
      • Schemainferenz und maschinelles Lernen
    • Prozessmanagement
      • Sprechaktbasiertes Fallmanagement
    • Datenbanksysteme
      • REAPER: A Framework for Materializing and Reusing Deep-Learning Models
      • Know Your Queries!
      • Bewertung von Datenspeichersystemen
      • Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse
      • Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)
      • Schemainferenz und maschinelles Lernen
      • Architektur von Nicht-Multiplen Autoencodern mit Nicht-Verlustbehafteter Informations-Agglomeration (Arbeitstitel, noch vorläufig)
      • Data Stream Application Manager
    • Datenstromsysteme
      • Data Stream Application Manager
      • Systemübergreifende Optimierung von Datenstromanfragen
    • Datenmanagement in den Digital Humanities
      • Franken in historischen Reiseberichten
      • Campusnetzwerk Digitale Geistes- und Sozialwissenschaften
    • Moderne Datenbanksysteme
    • Abgeschlossene Forschungsprojekte
    • Veröffentlichungen
    Hauptseite Forschung
  • Lehre
    • Lehrveranstaltungen
    • Curriculum
    • Examensarbeiten
    • Prüfungsinformationen
    Hauptseite Lehre
  1. Startseite
  2. Forschung
  3. Datenbanksysteme
  4. Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse

Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse

Bereichsnavigation: Forschung
  • Abgeschlossene Forschungsprojekte
    • BPM 2016
    • BPM 2017
    • Forschungsprojekte von Prof. Meyer-Wegener an der TU Dresden
  • Veröffentlichungen
  • Evolutionäre Informationssysteme
    • Sprechaktbasiertes Fallmanagement
    • Open and Collaborative Query-Driven Analytics
    • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
    • Schemainferenz und maschinelles Lernen
  • Datenqualität
    • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
    • Datenqualität und Innovationsfähigkeit von Medizinprodukten
  • Datenintegration
    • DQ-Step – Improvement of data quality at a reference enterprise in plant engineering
    • Open and Collaborative Query-Driven Analytics
    • Processing Heterogeneous Assets and Resources to discover Ontologies and Semantics
    • Schemainferenz und maschinelles Lernen
  • Prozessmanagement
    • Sprechaktbasiertes Fallmanagement
  • Datenbanksysteme
    • REAPER: A Framework for Materializing and Reusing Deep-Learning Models
    • Data Stream Application Manager
    • Know Your Queries!
    • Bewertung von Datenspeichersystemen
    • Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse
    • Query-Optimierung und Near-Data-Processing auf rekonfigurierbaren SoCs für Big Data Analyse (Phase II)
    • Schemainferenz und maschinelles Lernen
    • Architektur von Nicht-Multiplen Autoencodern mit Nicht-Verlustbehafteter Informations-Agglomeration (Arbeitstitel, noch vorläufig)
  • Datenstromsysteme
    • Data Stream Application Manager
    • Systemübergreifende Optimierung von Datenstromanfragen
  • Datenmanagement in den Digital Humanities
    • Franken in historischen Reiseberichten
    • Campusnetzwerk Digitale Geistes- und Sozialwissenschaften
  • Moderne Datenbanksysteme

Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse

Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse

(Drittmittelfinanzierte Gruppenförderung – Teilprojekt)

Titel des Gesamtprojektes: DFG-Schwerpunktprogramm (SPP) 2037 - Skalierbares Datenmanagement für zukünftige Hardware
Projektleitung: Stefan Wildermann, Jürgen Teich, Klaus Meyer-Wegener
Projektbeteiligte: Tobias Hahn, Maximilian Langohr, Andreas Becher, Lekshmi Beena Gopalakrishnan Nair
Projektstart: 28. August 2017
Projektende: 1. März 2023
Akronym: ReProVide
Mittelgeber: DFG / Schwerpunktprogramm (SPP)
URL: https://www.dfg-spp2037.de/me943-9/

Abstract

Dieses Projekt wird durch die Deutsche Forschungsgemeinschaft (DFG) im Rahmen des Schwerpunktprogramms SPP 2037 "Scalable Data Management for Future Hardware" gefördert.

Ziel dieses Projekts ist es, neuartige Hardware und Optimierungstechniken für die skalierbare, leistungsfähige Verarbeitung von Big Data bereitzustellen. Wir zielen insbesondere auf große Datenmengen mit flexiblen Schemata (zeilenorientierte, spaltenorientierte, dokumentenorientierte, irreguläre und/oder nicht-indexierte Daten) sowie auf Datenströme, wie sie in der Klick-Strom-Analyse, in Unternehmensquellen wie E-Mails, Software-Logs und Diskussionsforum-Archiven sowie in Sensoren im Internet of Things (IoT) und Industrie 4.0 zu finden sind. In diesem Bereich untersucht das Projekt das Potenzial Hardware-konfigurierbarer, FPGA-basierter Systems-on-Chip (SoCs) für die Daten-nahe Verarbeitung, bei der Berechnungen direkt bei den Datenquellen stattfinden. Basierend auf FPGA-Technologie und insbesondere deren dynamischer Rekonfiguration schlagen wir eine generische Architektur mit dem Namen ReProVide für die kostengünstige Verarbeitung von Datenbankanfragen vor.

Die Konzepte sollen die Integration von FPGA-basierten Beschleunigern in verfügbare SQL-, NoSQL- und In-Memory-Datenbanksysteme sowie Stream-Processing-Frameworks ermöglichen. Unser Ziel ist es dabei, flüchtige und nichtflüchtige Daten direkt an ReProVide-Knotenpunkte anzuschließen, die nicht nur bereinigte und integrierte Datensätze enthalten, sondern auch zur temporären oder persistenten Speicherung ungereinigter Daten aus neuen Datenquellen und Datenströmen verwendet werden können.

Unser FPGA-basiertes SoC wird vom Lehrstuhl für Informatik 12 vorangetrieben. Es

  • verwendet Hardware-Rekonfiguration zur Anpassung von Datenpfaden und Beschleunigern, um verschiedene OLAP- und Data-Mining-Operatoren auf Daten aus solchen heterogenen Datenquellen verarbeiten zu können,
  • enthält Management-Techniken zur Generierung lokaler Metadaten, Indexe und Statistiken dieser Datenquellen, um optimierte Datenverarbeitung zu ermöglichen, und
  • bietet Schema-on-read-Fähigkeiten für das Datenbank-Management-System (DBMS), das auf das SoC zugreift.

Während die Unterstützung unregelmäßiger Daten (z.B. Graphenverarbeitung) nicht im Fokus unserer Forschung steht, arbeiten wir an einer generischen Entwurfsmethodik, die Erweiterbarkeit durch benutzerdefinierte Funktionen und Datenschemata ermöglicht.
Solche Architekturen, die mit ihrem eigenen lokalen Optimierer ins DBMS integriert sind, erfordern neuartige Techniken zur globalen Abfrageoptimierung, die auf Konzepten aus verteilten und Multi-Database-Systemen basieren. Diese werden vom Lehrstuhl für Informatik 6 entwickelt. Während der lokale Optimierer Statistiken seiner lokalen Daten erstellt, muss der globale Optimierer auf diese Daten und Informationen der Daten-nahen Beschleuniger zugreifen. Anhand dieser Daten entscheidet die globale Abfrageoptimierung dann, welche Operationen auf den ReProVide SoCs berechnet werden und welche nicht. Es ist von entscheidender Bedeutung, dass der Optimierer über genügend Wissen verfügt, um ReProVide in der Abfrageverarbeitung einzusetzen, wann immer es einen Nutzen gibt. Dies erfordert funktionales Wissen (welche Daten und welche Operatoren sind verfügbar) sowie nicht funktionales Wissen (z.B. Kostenschätzungen für die Operatoren). In diesem Projekt soll eine erweiterbare Schnittstelle zur Verfügung gestellt werden, über die der globale Optimierer die zu bearbeitende Anfrage dem ReProVide-System übergeben und das Anfrageergebnis entgegennehmen kann. Darüber hinaus soll aber auch der bidirektionale Austausch von Hinweisen zur Verbesserung der jeweiligen Optimierung ermöglicht werden.

Publikationen

  • Hahn T., Becher A., Wildermann S., Teich J.:
    Raw Filtering of JSON data on FPGAs
    Design, Automation and Test in Europe Conference (DATE) (Antwerpen, 14. März 2022 - 23. März 2022)
    In: Proceedings of the 2022 Conference & Exhibition on Design, Automation & Test in Europe 2022
    BibTeX: Download
  • Hahn T., Wildermann S., Teich J.:
    Auto-Tuning of Raw Filters for FPGAs
    International Conference on Field-Programmable Logic and Applications (FPL) (Belfast, United Kingdom, 29. August 2022 - 2. September 2022)
    In: IEEE Proceedings of the 32nd International Conference on Field Programmable Logic and Applications 2022
    BibTeX: Download
  • Beena Gopalakrishnan Nair L., Becher A., Meyer-Wegener K., Wildermann S., Teich J.:
    SQL Query Processing Using an Integrated FPGA-based Near-Data Accelerator in ReProVide
    23rd International Conference on Extending Database Technology (Copenhagen, 30. März 2020 - 2. April 2020)
    In: Proceedings of EDBT 2020
    BibTeX: Download
  • Beena Gopalakrishnan Nair L., Becher A., Meyer-Wegener K.:
    The ReProVide Query-Sequence Optimization in a Hardware-Accelerated DBMS
    16th International Workshop on
    Data Management on New Hardware
    Held with ACM SIGMOD/PODS 2020
    (Portland, Oregon USA, 15. Juni 2020 - 15. Juni 2020)

    In: DaMoN '20: Proceedings of the 16th International Workshop on Data Management on New Hardware 2020
    DOI: 10.1145/3399666.3399926
    BibTeX: Download
  • Becher A., Teich J.:
    In situ Statistics Generation within partially reconfigurable Hardware Accelerators for Query Processing
    15th International Workshop on Data Management on New Hardware (DaMoN)
    Held with ACM SIGMOD/PODS 2019
    (Amsterdam, 1. Juli 2019 - 1. Juli 2019)

    BibTeX: Download
  • Plagwitz P., Streit FJ., Becher A., Wildermann S., Teich J.:
    Compiler-Based High-Level Synthesis of Application-Specific Processors on FPGAs
    International Conference on ReConFigurable Computing and FPGAs (ReConFig) (Cancún, Mexico, 9. Dezember 2019 - 11. Dezember 2019)
    In: IEEE Proceedings of the 14th International Conference on ReConFigurable Computing and FPGAs 2019
    DOI: 10.1109/ReConFig48160.2019.8994778
    BibTeX: Download
  • Becher A., Herrmann A., Wildermann S., Teich J.:
    ReProVide: Towards Utilizing Heterogeneous Partially Reconfigurable Architectures for Near-Memory Data Processing
    1st Workshop on Novel Data Management Ideas on Heterogeneous (Co-)Processors (NoDMC) at 18. Fachtagung für "Datenbanksysteme für Business, Technologie und Web" (Universität Rostock, 4. März 2019 - 8. März 2019)
    In: Gesellschaft für Informatik, Bonn (Hrsg.): Proceedings of the 1st Workshop on Novel Data Management Ideas on Heterogeneous (Co-)Processors (NoDMC), Bonn: 2019
    DOI: 10.18420/btw2019-ws-04
    URL: https://dl.gi.de/handle/20.500.12116/21825
    BibTeX: Download
  • Becher A., Beena Gopalakrishnan Nair L., Broneske D., Drewes T., Gurumurthy B., Meyer-Wegener K., Pionteck T., Saake G., Teich J., Wildermann S.:
    Integration of FPGAs in Database Management Systems: Challenges and Opportunities
    In: Datenbank-Spektrum (2018)
    ISSN: 1618-2162
    DOI: 10.1007/s13222-018-0294-9
    BibTeX: Download
  • Becher A., Wildermann S., Teich J.:
    Optimistic Regular Expression Matching on FPGAs for Near-Data Processing
    Data Management on New Hardware (DaMoN) (Houston, Texas, 11. Juni 2018 - 11. Juni 2018)
    BibTeX: Download
  • Echavarria Gutiérrez JA., Schütz K., Becher A., Wildermann S., Teich J.:
    Can Approximate Computing Reduce Power Consumption on FPGAs?
    25th IEEE International Conference on Electronics Circuits and Systems (Bordeaux, 9. Dezember 2018 - 12. Dezember 2018)
    In: Proceedings of IEEE International Conference on Electronics Circuits and Systems 2018
    BibTeX: Download

 

 

Personen

Lekshmi B.G., M. Sc., M. Phil

Dr.-Ing. Lekshmi B.G.

  • E-Mail: lekshmi.bg.nair@fau.de
  • Webseite: https://www.cs6.tf.fau.de/lehrstuhl/personen/lekshmi-b-g/
Mehr › Details zu Lekshmi B.G.
Klaus Meyer-Wegener

Prof. i. R. Dr. Klaus Meyer-Wegener

Martensstraße 3
91058 Erlangen
  • Telefon: +49 9131 85-27892
  • E-Mail: klaus.meyer-wegener@fau.de
  • Webseite: https://www.cs6.tf.fau.de/person/klaus-meyer-wegener/
Mehr › Details zu Klaus Meyer-Wegener
Lehrstuhl für Informatik 6 (Datenmanagement)
Friedrich-Alexander-Universität Erlangen-Nürnberg

Martensstraße 3
91058 Erlangen
  • Kontakt
  • Impressum
  • Datenschutz
  • Barrierefreiheit
Nach oben