Transformation von Auswertungsfunktionen für Radardaten in eine optimierte, datenbankgestützte Darstellung

(als Bachelor- oder Masterarbeit)

Betreuer/Ansprechpartner

  • Holger Meyer
  • Ilvio Bruder
  • Thoralf Renkwitz

Beschreibung

Troposphäre und unteren Stratosphäre sowie in der Mesosphäre und unteren Thermosphäre. Die Messungen laufen kontinuierlich zum Teil über Jahrzehnte und erfassen dynamische und thermische Eigenschaften der Luft. Die Daten werden derzeit im Filesystem als HDF5-Dateien (Hierarchical Data Format) abgelegt und mittels Python-Scripts verarbeitet.

Ein Beispiel für solche Messungen ist die in Norwegen stationierte Radaranlage MAARSY (Middle Atmosphere Alomar Radar System), die mit rund 400 Antennen große Mengen Forschungsdaten erzeugt. Die Master-Arbeit soll prüfen, ob die Python-basierten Werkzeuge, die viele Matrizenoperationen enthalten, in eine relationale Algebra-Darstellung überführt werden können. Eine relationale Darstellung verspricht ein höheres Optimierungspotential. Grundlage sollen die Arbeiten [CKNP17] und [ACDM21] sein, die mögliche Transformationen sowie Optimierungsmöglichkeiten beschreiben. Die Praxistauglichkeit der entwickelten Konzepte soll durch prototypische Implementierungen belegt werden. Darüber hinaus ist es möglich, am Institut für Atmosphärenphysik direkt in Forschungsprojekten auf Basis studentischer Jobs mitzuarbeiten.

Darüber hinaus ist es möglich, am Institut für Atmosphärenphysik direkt in Forschungsprojekten auf Basis studentischer Jobs mitzuarbeiten.

Literatur

  • [CKNP17] Chen, Kumar, Naughton, Patel: Towards Linear Algebra over Normalized Data, Proc. VLDB, 2017
  • [ACDM21] Alotaibo, Cautis, Deutsch, Manolescu: HADAD: A Lightweight Approach for Optimizing Hybrid Complex Analytics Queries, SIGMOD, 2021

Erfassung und prototypische Umsetzung von Forschungsdatenworkflows bei der Analyse von optischen Atmosphärendaten

Betreuer

  • Holger Meyer
  •  Ilvio Bruder
  •  Gerd Baumgarten

Beschreibung

Das Leibniz-Institut für Atmosphärenphysik in Kühlungsborn sammelt Lidardaten der Troposphäre, der unteren Stratosphäre und in der Mesosphäre sowie Kameraaufnahmen diverser atmosphärischer Phänomene. Die Messungen laufen zum Teil über mehrere Jahre und erfassen chemische, dynamische und thermische Eigenschaften der Luft. Die Daten werden derzeit im Filesystem in unterschiedlichen Bildformaten und Sensordaten (z.B. HDF5-Dateien Hierarchical Data Format) abgelegt und mittels Python-Scripts verarbeitet.

Bei den Forschungsdatenworkflows handelt es sich um die Erfassung der Daten durch verschiedene Sensorik und Messgeräten an verschiedenen Orten. Die Daten werden meist validiert, gefiltert und vorverarbeitet. Anschließend werden die Daten zentral am Institut gesammelt und den eigentlichen Verarbeitungsalgorithmen unterworfen. Rohdaten und Analysedaten werden dann in einem Langzeit-Repository archiviert. Aufgabe der Arbeit ist es, die unterschiedlichen Workflows zu erfassen und wenn möglich zu vereinheitlichen. Außerdem sollen Software- und Datenbank-Techniken zur Unterstützung der Workflows vorgeschlagen werden.

Darüber hinaus ist es möglich, am Institut für Atmosphärenphysik direkt in Forschungsprojekten auf Basis studentischer Jobs mitzuarbeiten.