DFG-Projekt: NoSQL Schema Evolution and Big Data Migration at Scale

DFG-Projekt 385808805

Projektziele

• Im Mittelpunkt dieses Projektes stehen Schemaevolution und skalierbare Migration von Daten in NoSQL-Datenbanken. Hauptziel ist die Konzeption und Bereitstellung eines Advisor für die NoSQL-Datenmigration.
• Im Dezember 2020 wurde das Projekt um weitere 2 Jahre von der DFG verlängert. Im zweiten Teil dieses Projekts sollen Methoden für die Schema Evolution und skalierbare Migration in Polystores entwickelt werden. 
• Im Rahmen des Projekts wird u.a. Darwin, die an der Hochschule Darmstadt entwickelte Schema-Management-Middleware für NoSQL-Datenbanksysteme eingesetzt und weiterentwickelt.
• Einblicke in das Projekt:
  • Darwin: NoSQL Schema Management Middleware
  • MigCast: Tool-based Advisor Exploring Data Migration Strategies
  • Agile Database Development (Invited Talk @ Friedrich-Alexander-Universität Erlangen, Februar 2020)

Themen für Masterarbeiten oder vertiefende F&E Studien im Rahmen des Projekts

• Entwicklung von adaptiven Verfahren zur Datenmigration in NoSQL-Datenbanken
• Optimierung der Datenmigration in NoSQL-Datenbanken

Bei Interesse an einem der Themen wenden Sie sich an Prof. Dr. Uta Störl!

Kooperationspartner im DFG-Projekt

• apl. Prof. Dr.-Ing. habil. Meike Klettke (Universität Rostock)
• Prof. Dr. Stefanie Scherzinger (Universität Passau)
• Prof. Dr. Uta Störl (Hochschule Darmstadt)

Projektmitarbeiter

• Andrea Hillenbrand (Hochschule Darmstadt)
• Mark Lukas Möller (Universität Rostock)
• Andre Conrad (Hochschule Darmstadt, Universität Rostock) - ab Januar 2021

Veröffentlichungen

2021

• A. Hillenbrand, U. Störl, S. Nabiyev, M. Klettke. Self-Adapting Data Migration in the Context of Schema Evolution in NoSQL Databases. Distributed and Parallel Databases (DAPD), accepted for publication
• A. Hillenbrand. Towards a Theory of Models in Systems Development Modeling. MODELSWARD 2021, Februar 2021

2020

• M.L. Möller, M. Klettke, U. Störl. EvoBench - A Framework for Benchmarking Schema Evolution in NoSQL. SCDM@BigData 2020, Dezember 2020.
• St. Scherzinger and S. Sidortschuk: An Empirical Study on the Design and Evolution of NoSQL Database Schemas. ER 2020, November 2020.
• M. Fruth, M.-A. Baazizi, D. Colazzo, G. Ghelli, C. Sartiani and St. Scherzinger: Challenges in Checking JSON Schema Containment over Evolving Real-World Schemas. EmpER@ER 2020, November 2020.
• D. Braininger, W. Mauerer and St. Scherzinger: Replicability and Reproducibility of a Schema Evolution Study in Embedded Databases. EmpER@ER 2020, November 2020.
  Technical Report: https://arxiv.org/abs/2008.10925
• M.-A. Baazizi, D. Colazzo, G. Ghelli, C. Sartiani and St. Scherzinger: Not Elimination and Witness Generation for JSON Schema. BDA 2020, Oktober 2020.
• A. Stiemer, M. Vogt, H. Schuldt, and U. Störl: PolyMigrate: Dynamic Schema Evolution and Data Migration in a Distributed Polystore.  Poly'20@VLDB 2020, Tokyo, Japan, August 2020. (bibtex, full text)
• M. L. Möller, Stefanie Scherzinger, Meike Klettke, U. Störl: Why it is Time for yet another Schema Evolution Benchmark. CAISE 2020, Grenoble, Frankreich, Juni 2020. (bibtex, full text)
• A. Hillenbrand, U. Störl, M. Levchenko, S. Nabiyev, M. Klettke: Towards Self-Adapting Data Migration in the Context of Schema Evolution in NoSQL Databases. SMDB@ICDE 2020, Dallas, Texas, USA, April 2020. (bibtex, full text)
• U. Störl, M. Klettke, S. Scherzinger: Tutorial NoSQL Schema Evolution and Data Migration: State-of-the-Art and Opportunities,  EDBT 2020, Kopenhagen, Dänemark, April 2020. (bibtex, full text)

2019

• Mark Lukas Möller, Meike Klettke, Andrea Hillenbrand, Uta Störl. Query Rewriting for Continuously Evolving NoSQL Databases. ER 2019, Salvador, Brazil, December 2019. (bibtex, full text)
• Mark Lukas Möller, Meike Klettke. Uta Störl. Keeping NoSQL Databases up to date – Semantics of Evolution Operations and their Impact on Data Quality. LWDA 2019, Berlin, September 2019. (bibtex, full text)
• Irena Holubova, Meike Klettke, Uta Störl. Evolution Management of Multi-Model Data. Poly/DMAH@VLDB 2019, Los Angeles, August 2019. (bibtex, full text)
• Andrea Hillenbrand, Maksym Levchenko, Uta Störl, Stefanie Scherzinger, Meike Klettke. MigCast: Putting a Price Tag on Data Model Evolution in NoSQL Data Stores. Demo Paper, SIGMOD 2019, Amsterdam, Juni 2019. (bibtex, full text)
• Mark Lukas Möller, Nicolas Berton, Meike Klettke, Stefanie Scherzinger, Uta Störl. jHound: Large-Scale Profiling of Open JSON Data. Demo Paper, BTW 2019, Rostock, März 2019. (bibtex, full text)

2018

• Uta Störl, Daniel Müller, Julian Stenzel, Alexander Tekleab, Stephane Tolale, Meike Klettke, Stefanie Scherzinger. Curating Variational Data in Application Development. 34th IEEE International Conference on Data Engineering (ICDE), Paris, April, 2018. (bibtex, full text)
• Uta Störl, Alexander Tekleab, Meike Klettke, Stefanie Scherzinger.  In for a Surprise when Migrating NoSQL Data. 34th IEEE International Conference on Data Engineering (ICDE), Paris, April, 2018. (bibtex, full text)

2017

• Meike Klettke, Hannes Awolin, Uta Störl, Daniel Müller, and Stefanie Scherzinger. Uncovering the Evolution History of Data Lakes. Proc. of SCDM 2017@IEEE Big Data 2017, Boston, MA, USA, Dezember 2017. (bibtex, full text)
• Meike Klettke, Uta Störl, Stefanie Scherzinger. Schema Evolution in Scalable Cloud Data Management. SCDM 2017@BTW 2017, Stuttgart, März 2017 (Eingeladener Vortrag)
• Uta Störl, Daniel Müller, Meike Klettke, and Stefanie Scherzinger. Enabling Efficient Agile Software Development of NoSQL-backed Applications. BTW 2017, Stuttgart, März 2017. (bibtex, full text)

2016

• Meike Klettke, Uta Störl, Manuel Shenavai, and Stefanie Scherzinger. NoSQL Schema Evolution and Big Data Migration at Scale. Proc. of SCDM 2016@IEEE Big Data 2016, Washington D.C., USA, Dezember 2016. (bibtex, full text)
• Meike Klettke, Uta Störl, Steffi Scherzinger, Stephanie Sombach, and Katharina Wiech. Challenges with Continuous Deployment of NoSQL-backed Database Applications. Proc. of FG-DB 2016@LWDA 2016, September 2016. (bibtex, full text)
• Meike Klettke, Uta Störl und Stefanie Scherzinger: Herausforderungen bei der Anwendungsentwicklung mit Schema-flexiblen NoSQL-Datenbanken, HMD Praxis der Wirtschaftsinformatik, 53(4): 428-442, August 2016 (bibtex, full text)
• Stefanie Scherzinger, Stephanie Sombach, Katharina Wiech, Meike Klettke and Uta Störl. Datalution: A Tool for Continuous Schema Evolution in NoSQL-backed Web Applications. Proc. of 2nd International Workshop on Quality-Aware DevOps QUDOS 2016@ISSTA 2016, Juli 2016. (bibtex, full text)
• Uta Störl, Meike Klettke und Stefanie Scherzinger: Kurz erklärt: Objekt-NoSQL-Mapping. Datenbank-Spektrum 16(1), Januar 2016 (bibtex, full text)

2015

• Stefanie Scherzinger, Meike Klettke, and Uta Störl. A Datalog-based Protocol for Lazy Data Migration in Agile NoSQL Application Development. Proc. of DBPL 2015 @ SPLASH 2015 (Systems, Programming, Languages and Applications: Software for Humanity), Pittsburgh, Pennsylvania, United States, Oktober 2015 (bibtex, full text)
• Uta Störl, Meike Klettke und Stefanie Scherzinger. Kontrolliertes Schema-Evolutionsmanagement für NoSQL-Datenbanksysteme. Proc. of the LWA 2015 Workshops: KDML, FGWM, IR, and FGDB. Trier, Oktober 2015 (bibtex, full text)
• Uta Störl: NoSQL-Datenbanksysteme. In: Taschenbuch Datenbanken, Hanser-Verlag, März 2015
• Jens Albrecht und Uta Störl: Big-Data-Anwendungsentwicklung mit SQL und NoSQL, Tutorial, BTW 2015, Hamburg, März 2015 (bibtex, full text)
• Uta Störl, Thomas Hauf, Meike Klettke und Stefanie Scherzinger: Schemaless NoSQL Data Stores – Object-NoSQL Mappers to the Rescue? Industry Paper, BTW 2015, Hamburg, März 2015 (bibtex, fulltext)
• Meike Klettke, Uta Störl und Stefanie Scherzinger: Schema Extraction and Structural Outlier Detection for NoSQL Data Stores. Scientific Paper, BTW 2015, Hamburg, März 2015 (bibtex, full text)
• Stefanie Scherzinger, Meike Klettke und Uta Störl: Cleager: Eager Schema Evolution in NoSQL Document Stores. Demo Paper, BTW 2015, Hamburg, März 2015 (bibtex, full text)

2014

• Meike Klettke, Stefanie Scherzinger und Uta Störl: Datenbanken ohne Schema? Herausforderungen und Lösungs-Strategien in der agilen Anwendungsentwicklung mit schema-flexiblen NoSQL-Datenbanksystemen. Datenbank-Spektrum,  14(2): 119-129, Juli 2014 (bibtex, full text)

2013

• Stefanie Scherzinger, Meike Klettke, and Uta Störl. Managing Schema Evolution in NoSQL Data Stores. Proc. of the 14th International Symposium on Database Programming Languages DBPL 2013@VLDB 2013, Riva del Garda, Trento, Italy, August 2013 (bibtex, full text)

Weitere Vorträge (Uta Störl)

• Towards Self-Adapting Data Migration in the Contextof Schema Evolution in NoSQL Databases, NoSQL Workshop 2020, Hamburg, Februar 2020
• Agile Database Development. Invited Talk @ Friedrich-Alexander-Universität Erlangen, Februar 2020 (Eingeladener Vortrag)
• Challenges of Evolution Management of Multi-Model Data. Invited Talk @ Universität Basel,  Oktober 2019 (Eingeladener Vortrag)
• NoSQL Schema Evolution Management and Big Data Migration in the Cloud, Invited Talk @ 13th Symposium and Summer School On Service-Oriented Computing, Crete, Greece, Juni 2019 (Eingeladener Vortrag)
• Continuous Database Evolution. Frankfurter Entwicklertag 2019, Februar 2019
• NoSQL Schema Evolution and Big Data Migration at Scale. Invited Talk @ CNAM Paris, April 2018 (Eingeladener Vortrag)
• Datenbanktechnologien für Big Data. IT-Frauen im Rhein-Neckar-Dreieck, Uni Heidelberg, Juli 2014 (Eingeladener Vortrag)
• Big Data Technologien. Tagung des GSE-Arbeitskreises "Datenschutz und Datensicherheit", Berlin (Eingeladener Vortrag), Oktober 2013
• NoSQL-Datenbanksysteme. Hochschule Harz, Wernigerode (Eingeladener Vortrag), Juni 2013
• NoSQL-Datenbanksysteme: Revolution oder Evolution? Universität Rostock (Eingeladener Vortrag), Januar 2013
• NoSQL-Datenbanksysteme: Hype und Realität. ORDIX AG (Eingeladener Vortrag), Wiesbaden. Oktober 2012

Prof. Dr. Uta Störl