Warum sich 2022 alles um Datenbanken, Data Mesh und Open-Source-Communities drehen wird

Von Datenbankbetrieb über Data Lake-Integrationen bis hin zu Data Mesh werden Datenanalysewerkzeuge und -verfahren im Jahr 2022 erhebliche Fortschritte machen.

Das kommende Jahr wird eine Reihe von transformativen Trends hervorbringen, in Bezug auf die Art und Weise, wie Unternehmen die Aussagefähigkeit ihrer Daten nutzen. Unternehmen sollten sich auf leistungsstarke KI-/ML-Vorhersagefunktionen in der Datenbank selbst einstellen, aber viele werden das Potenzial von AIOps  wahrscheinlich erst auf lange Sicht erkennen. Die Nutzung von Data Lakes wird sich deutlich weiterentwickeln, wobei die Datenintegration stärker in den Mittelpunkt rückt.

Diese beiden sich rasch ausbreitenden Trends werden wiederum das Konzept eines dezentralen „Data Mesh“ als Kunstbegriff für Anbieter und Anwender gleichermaßen fördern, um eine Microservices-ähnliche Verteilung der Verantwortlichkeiten für die Datenverwaltung zu beschreiben. Und schließlich werden die Open-Source-Communities im Bereich Datenmanagement und -analyse im kommenden Jahr prominenter werden, nachdem dieses vergangene Jahr viele Schwindeleien mit Open-Source-Lizenzierung getrieben worden ist.

Trend Nr. 1: Maschinelles Lernen ermöglicht vorausschauende Datenbankindizierung, Analysen und mehr

Die gleichen Möglichkeiten des maschinellen Lernens und der prädikativen Analytik, die neue Ansätze in der Informationstechnologie vorantreiben, werden im Jahr 2022 auch bei der Datenbank selbst zum Tragen kommen. Warum ist dies eine so wichtige Entwicklung für Daten- und Analyseexperten? Weil die Komplexität der Datenverwaltung, die viel zu lange übersehen wurde, endlich mit Machine Learning angegangen werden wird. Die Merkmale dieser großen Herausforderung: Das Datendesign ist recht flexibel, die Datennutzungsmuster sind schwer vorhersehbar, und die Speicherverwaltung liegt außerhalb der Datenbank. Traditionell analysieren erfahrene Datenbankadministratoren Datenverkehrsmuster, messen das Speicherwachstum und wenden dann ihr Wissen an, um leistungsfähige Abfragen zu erstellen.

Im Gegensatz dazu können ML-gestützte Lösungen Datenindizes erstellen, eine Neuindizierung durchführen und den Speicher mithilfe von Vorhersagemodellen verwalten, die erahnen können, wo sich die Daten befinden. Bereits vorhandene ML-Produkte wie HypoPG und GitHub Copilot verfügen bereits über diese Fähigkeit. Sie sind zwar noch nicht ausgereift, aber das liegt in der Natur der sich entwickelnden ML-Technologien. Es ist nur eine Frage der Zeit bis ML-Trainingssätze und sukzessive Verbesserungen zu Vorhersageindikatoren und -ergebnissen führen, die erst akzeptabel, dann beeindruckend und schließlich für den Datenbankbetrieb, wie wir ihn kennen, unerlässlich sind. Im Laufe des kommenden Jahres werden viele Fortschritte auf diesem Pfad erzielt werden.

Obwohl KI/ML-gestützte Indizierung, Workloads und Kapazitätsmanagement recht vielversprechend sind, gehe ich davon aus, dass sich die Begeisterung für AIOps (Betrieb und prädikative Abhilfemaßnahmen auf der Grundlage von ML-basierten Entscheidungen) abkühlen und im Jahr 2022 ein „Tal der Ernüchterung“ in diesem Hype-Zyklus durchschreiten wird. AIOps-Produkte sind auf den Markt gekommen, aber die Realität ist bisher hinter den möglichen Versprechungen zurückgeblieben. Auch hier gilt: KI/ML ist nur so gut wie die entsprechenden Trainingssätze. AIOps, wie es geplant ist, wird sicherlich irgendwann kommen – nur wahrscheinlich nicht im kommenden Jahr.

Trend Nr. 2: Das Ökosystem der Data Lake-Integration floriert und läutet das Zeitalter von Data Mesh ein

Data Lakes werden ihre Dominanz als wesentliche Voraussetzung für Analysen und Datentransparenz beibehalten: 2022 wird sich das Ökosystem rund um Data Lakes rapide ausbreiten, angetrieben von Unternehmen, die eine stärkere Datenintegration anstreben. In dem Maße, in dem Unternehmen herausfinden, wie sie Daten aus Systemen von Drittanbietern und Echtzeit-Transaktionen in ihre Data Lakes einbringen können, werden Technologien wie Apache Kafka und Pulsar diese Arbeitslasten übernehmen und sich anpassen.

Neben der Einführung von Daten zur Erstellung von BI-Berichten und -Analysen werden Technologien wie Debezium und Kafka Connect auch die Konnektivität von Data Lakes ermöglichen und Dienste unterstützen, die ein aktives Datenbewusstsein erfordern. Es ist zu erwarten, dass sich auch Ansätze, die einen Enterprise Message Bus nutzen, zunehmend durchsetzen werden. Unternehmen, die in der Lage sind, vom Aufschwung der Integrationslösungen zu profitieren, sollten diese Chancen im Jahr 2022 auf jeden Fall nutzen.

Im Zusammenhang mit diesem Trend (und auch mit Trend Nr. 1): Das aufkommende Konzept des Data Mesh wird sich erst 2022 wirklich durchsetzen. Als Ansatz wendet ein Data Mesh die Prinzipien moderner dezentralisierter Architekturen auf die Verwaltung von Analysen an. Es basiert auf den Ansätzen der Dezentralisierung und der Verteilung der Verantwortung für Daten innerhalb eines bestimmten Bereichs.

Unternehmen haben unterschiedliche Verwendungszwecke für Daten, ob es sich um Business Intelligence, Kerngeschäftsfaktoren oder ML-Vorhersagen handelt. Mit einem Datennetz kann das entsprechende Team die Verantwortung für die Daten übernehmen, die für sie am wichtigsten sind. Wir beobachten bereits, dass Anbieter das Konzept des Data Mesh in ihrer Kommunikation mit den Kunden aufgreifen und erörtern, wie ihre Produkte mit den Organisationsstrukturen der Kunden zusammenwirken und wie sie den Teams einen angemessenen Self-Service-Datenzugang ermöglichen. Unternehmen sollten damit rechnen, dass das Konzept des Data Mesh im kommenden Jahr viel stärker formalisiert wird und dass sich neue Möglichkeiten ergeben, dessen Vorteile zu nutzen.

Trend Nr. 3: Wenn Daten- und Analyseanbieter ihre Lösungen von der Open-Source-Lizenzierung wegsteuern, werden die Communities sie wieder zurückbringen

Anbieter von Open-Source-Lösungen haben in den letzten Jahren leider immer wieder geschwindelt, indem sie diese Technologien auf der Datenebene durch proprietäre Lizenzen ersetzt haben. Gleichzeitig haben die Open-Source-Communities, die sich mit diesen Technologien befassen, inzwischen den Willen und die Mittel, robuste Forked-Versionen zu unterstützen und Projekte ohne die ursprünglichen Anbieter voranzutreiben.

Das wohl deutlichste aktuelle Beispiel dafür ist Elasticsearch, wo die Abkehr von der reinen Open-Source-Lizenzierung durch Elastic.co dazu führte, dass die Community ihre Leistungsfähigkeit durch die Veröffentlichung von OpenSearch, der dezentralisierten Open-Space-Such- und Analyse-Suite, schnell unter Beweis stellen konnte.

Im Jahr 2022 wird sich das Spannungsverhältnis zwischen diesen Szenarien zuspitzen. Am Beispiel von Elasticsearch wird sich in den nächsten Jahren zeigen, ob die Nutzer bei Elastic.co als dominantem Anbieter und ursprünglichen Schöpfer bleiben oder zur Unterstützung der vollständig quelloffenen Version übergehen. Momentan beobachten wir, dass Unternehmen zunehmend Letzteres tun. Die Stärke der Open-Search-Community treibt auch bereits innovative neue Unternehmensfunktionen voran.

Für Unternehmen ist es von entscheidender Bedeutung, sich über alle Lizenzänderungen zu informieren, die Lösungen betreffen, auf die sie für Datentechnologien angewiesen sind, sowie über alle Open-Source-Optionen, die ihnen aufgrund dieses Trends zur Verfügung stehen. Wenn die Communities ihre Fähigkeit unter Beweis stellen, Lösungen wieder in den Open-Source-Bereich zu bringen, wird dies künftige Lizenzierungsschwindeleien verhindern und dafür sorgen, dass wertvolle Funktionen weiterhin für alle verfügbar sind.

Schlusswort

Von Datenbankbetrieb über Data Lake-Integrationen bis hin zu Data Mesh werden Datenanalysewerkzeuge und -verfahren im Jahr 2022 erhebliche Fortschritte machen. Unternehmen tun gut daran, sich Gedanken darüber zu machen, wie sie diese Trends am besten nutzen können, und sich auf das vorzubereiten, was vor ihnen liegt.

über den Autor

Ben Bromhead ist Chief Technology Officer bei Instaclustr, die eine verwaltete Plattform rund um Open-Source-Datentechnologien anbieten. Vor Instaclustr (das er 2013 mitbegründete) arbeitete Ben als unabhängiger Berater an der Entwicklung von NoSQL-Lösungen für Unternehmen und leitete ein Hightech-Labor für die Prüfung von Kryptographie- und Cybersicherheitsformalitäten bei BAE Systems und Stratsec. Sie können den Autor über LinkedIn oder Twitter kontaktieren.

Dieser Artikel ist eine Übersetzung. Der Originalartikel wurde auf Englisch hier veröffentlicht.

über den Autor

Carsten Meskes

Marketing and Operations Specialist

zur Person

Carsten Meskes, Mitarbeiter seit 2016, kümmert sich hauptsächlich um credativ und Instaclustr Marketing im DACH-Bereich und in Europa. Weiterhin unterstützt er er auf internationaler Ebene verschiedene Transformationsprozesse innerhalb der gesamten Instaclustr-Gruppe. Mit vielfälltiger Sprachbegabung, langjährigen Aufenthalts in Japan und Ausbildung als Coach ist er unser Ansprechpartner für Kulturelles und Kommunikation.

Beiträge ansehen