Was ist das?
Ein Ansatz für die Datenverwaltung, der auf der verbrauchergesteuerten, späten Anbindung lose gekoppelter, bereichsbezogener Datenquellen beruht.
Datenprodukte, bei denen die Daten veröffentlicht und nicht weitergegeben werden und das Eigentum an ihnen bestehen bleibt.
Business Domains (Produzenten) veröffentlichen ihre Daten
Analysebereiche (Innovatoren) fügen den Daten einen Mehrwert hinzu
Nutzer (Konsumenten) rufen Daten ab und integrieren sie bei Bedarf
Dezentrales Eigentum an Daten
Verteilte Architektur zur Unterstützung von Big Data nach bereichsbezogenen Designstrategien
Bereichsdefinition, die Eigentum, Rollen und Interaktionsmodell umfasst
Föderierte und globale Verwaltung
Ermöglicht durch gut verwaltete Metadaten
Selbstbedienungsinfrastruktur für Domänen zur Nutzung der Datenplattform und der Werkzeuge
Warum Data Mesh?
Oft gibt es Lösungen, die auf dem Prinzip der zentralen Datenverwaltung beruhen. Stärkung der Eigenverantwortung des Unternehmens bei gleichzeitiger Gewährleistung von Transparenz und Abstimmung. Iterative Umsetzung, um kurzfristigen Nutzen zu erzielen und gleichzeitig eine Grundlage für die Skalierung zu schaffen
Benutzerperspektive: „Wir können nicht skalieren“.
Daten veröffentlichen: Wie beschreibe und hoste ich meine Daten?
Daten entdecken: Wo finde ich Daten über
Daten verstehen: Was ist die geschäftliche Bedeutung?
Daten vertrauen: Sind die Daten „sauber“?
Daten verbrauchen: Kann ich Zugang erhalten?
Kritische Erfolgsfaktoren
Eigentum an den Domains
Dateneigentum und ‑verantwortung müssen festgelegt und vereinbart werden.
Die von jedem Knotenpunkt veröffentlichten Daten müssen sauber, konsistent und dokumentiert sein.
Kein kostenloses Mittagessen: Daten müssen für die Veröffentlichung vorbereitet werden
Bedarf an von Menschen lesbarer Dokumentation und/oder maschinenlesbaren Metadaten.
Auffindbarkeit: Wie erfahren die Nutzer (Verbraucher), was verfügbar ist?
Suchen oder browsen?
Implementierung der technischen Schnittstelle
REST API, öffentlich zugängliche relationale DB-Instanz, allgemeine Abfrage-API, Streaming, Pub/Sub?
Verstehen der Granularität der von jedem Knoten verfügbaren Daten
Sicherheit und Zugriffskontrolle müssen von jedem Knoten implementiert werden
Grundsätze des Datennetzes
Daten als Produkt
Produktgedanke, Bereitstellung nützlicher Daten, die vertrauenswürdig und in einer Vielzahl von Anwendungsfällen wiederverwendbar sind
Dezentralisierte Eigentümerschaft
Umstellung von zentraler Datenverwaltung auf ein bereichsbezogenes Eigentumsmodell
Selbstbedienungs-Datenplattform
Ermöglicht Produzenten, ihre Daten zu veröffentlichen, Verbrauchern einen leichteren Zugang und fördert einen lebendigen Marktplatz
Föderierte Verwaltung
Föderierte Ausführung und zentralisierte Befähigung, Nutzung kodifizierter Standards und automatisierter Prozesse
Nachdem wir nun verstanden haben, was und warum Datenverflechtungen von Bedeutung sind und für viel Wirbel sorgen. Lassen Sie uns nun sehen, wie die Snowflake-Plattform die nahtlose Erstellung von Datengeflechten ermöglicht
Erstellen von Datengeflechten auf Snowflake
Snowflake ist eine Cloud-basierte Data-Warehousing-Plattform, die eine hoch skalierbare und flexible Umgebung für die Speicherung und Analyse großer Datenmengen bietet. Aufgrund der Unterstützung von Mandantenfähigkeit und Datenfreigabe eignet sie sich hervorragend für die Implementierung einer Data Mesh-Architektur.
Mit Snowflake können Unternehmen separate Konten für jede Datendomäne erstellen, um ihre eigenen Daten zu verwalten und den Zugriff und die Berechtigungen zu kontrollieren. Gleichzeitig können sie mithilfe der sicheren Datenfreigabefunktionen von Snowflake Daten domänenübergreifend gemeinsam nutzen, was die Zusammenarbeit fördert und die Datenduplizierung reduziert.
Elastische Berechnungsfunktionen : Snowflake unterstützt separate Ressourcen für verschiedene Teams oder Arbeitslasten. Funktionen wie die Isolierung von Arbeitslasten, die Vermeidung von Ressourcenkonflikten, mehrere Rechencluster, die auf dieselben oder unterschiedliche Daten zugreifen, RBAC-Governance usw. sind die Voraussetzung für eine Datenvernetzung.
Governance in Snowflake: Daten können in Snowflake einfach verwaltet und zusammengeführt werden. Wenn wir dies in 3 verschiedene Abschnitte unterteilen, bietet Snowflake Lösungen für diese, wie unten gezeigt.
Teil 1: Kennen Sie Ihre Daten. Die Funktionen von Snowflake sind Object Tagging, Datenklassifizierung, etc.
Teil 2: Schützen Sie Ihre Daten. Die verwendeten Funktionen von Snowflake sind Zugriffsrichtlinien für Zeilen, dynamische Datenmaskierung, externe Tokenisierung, usw..
Teil 3: Freischalten und Überwachen. Verwendete Funktionen von Snowflake sind Ressourcenmonitore, Snowsight Dashboards.
Snowflake, eine verteilte Plattform : Snowflake ist eine verteilte, aber verbundene Plattform, die Silos vermeidet und es verteilten Teams ermöglicht, Daten auf geregelte und sichere Weise zu teilen.
Anwendungsfall
1. Globale Vermögensverwaltungsgesellschaft beschleunigt die digitale Transformation
Um Investitionsprozesse in eine skalierbare, digitale Umgebung zu bringen und ganzheitliche Lösungen zu ermöglichen, hat sich dieser große Vermögensverwalter mit Other Organization und Snowflake zusammengetan, um seine Daten- und Analysefunktionen zu modernisieren und das Datenökosystem der Zukunft in der Cloud aufzubauen.
Zusammenfassung:
Zusammenfassung
Zusammenfassend lässt sich sagen, dass Snowflake und Data Mesh perfekt zusammenpassen. Snowflake bietet den einzelnen Domänen-Teams einen einfachen Zugang zu Speicher, Rechenleistung, Leistung, Skalierbarkeit, Sicherheit und Governance. Die Datendomänen-Teams (Architekten) nutzen diese Ressourcen, um Datenprodukte zu erstellen, die sie problemlos mit anderen Datendomänen-Teams teilen können.
Erfahren Sie hier mehr über Lösungen im Bereich Snowflake oder besuchen Sie eines unserer kostenlosen Webinare.
Quelle: medium.com
