Was ist das?

Ein Ansatz für die Daten­ver­wal­tung, der auf der ver­brau­cher­ge­steu­er­ten, spä­ten Anbin­dung lose gekop­pel­ter, bereichs­be­zo­ge­ner Daten­quel­len beruht.

Daten­pro­dukte, bei denen die Daten ver­öf­fent­licht und nicht wei­ter­ge­ge­ben wer­den und das Eigen­tum an ihnen bestehen bleibt.

Busi­ness Domains (Pro­du­zen­ten) ver­öf­fent­li­chen ihre Daten
Ana­ly­se­be­rei­che (Inno­va­to­ren) fügen den Daten einen Mehr­wert hinzu
Nut­zer (Kon­su­men­ten) rufen Daten ab und inte­grie­ren sie bei Bedarf

Dezen­tra­les Eigen­tum an Daten

Ver­teilte Archi­tek­tur zur Unter­stüt­zung von Big Data nach bereichs­be­zo­ge­nen Design­stra­te­gien
Bereichs­de­fi­ni­tion, die Eigen­tum, Rol­len und Inter­ak­ti­ons­mo­dell umfasst

Föde­rierte und glo­bale Verwaltung

Ermög­licht durch gut ver­wal­tete Metadaten

Selbst­be­die­nungs­in­fra­struk­tur für Domä­nen zur Nut­zung der Daten­platt­form und der Werkzeuge

Warum Data Mesh?

Oft gibt es Lösun­gen, die auf dem Prin­zip der zen­tra­len Daten­ver­wal­tung beru­hen. Stär­kung der Eigen­ver­ant­wor­tung des Unter­neh­mens bei gleich­zei­ti­ger Gewähr­leis­tung von Trans­pa­renz und Abstim­mung. Ite­ra­tive Umset­zung, um kurz­fris­ti­gen Nut­zen zu erzie­len und gleich­zei­tig eine Grund­lage für die Ska­lie­rung zu schaffen

Benut­zer­per­spek­tive: „Wir kön­nen nicht ska­lie­ren“.
Daten ver­öf­fent­li­chen: Wie beschreibe und hoste ich meine Daten?
Daten ent­de­cken: Wo finde ich Daten über
Daten ver­ste­hen: Was ist die geschäft­li­che Bedeu­tung?
Daten ver­trauen: Sind die Daten „sau­ber“?
Daten ver­brau­chen: Kann ich Zugang erhalten?

Kri­ti­sche Erfolgsfaktoren

Eigen­tum an den Domains

Daten­ei­gen­tum und ‑ver­ant­wor­tung müs­sen fest­ge­legt und ver­ein­bart werden.

Die von jedem Kno­ten­punkt ver­öf­fent­lich­ten Daten müs­sen sau­ber, kon­sis­tent und doku­men­tiert sein.
Kein kos­ten­lo­ses Mit­tag­essen: Daten müs­sen für die Ver­öf­fent­li­chung vor­be­rei­tet wer­den
Bedarf an von Men­schen les­ba­rer Doku­men­ta­tion und/oder maschi­nen­les­ba­ren Metadaten.

Auf­find­bar­keit: Wie erfah­ren die Nut­zer (Ver­brau­cher), was ver­füg­bar ist?
Suchen oder browsen?

Imple­men­tie­rung der tech­ni­schen Schnitt­stelle
REST API, öffent­lich zugäng­li­che rela­tio­nale DB-Instanz, all­ge­meine Abfrage-API, Strea­ming, Pub/Sub?

Ver­ste­hen der Gra­nu­la­ri­tät der von jedem Kno­ten ver­füg­ba­ren Daten
Sicher­heit und Zugriffs­kon­trolle müs­sen von jedem Kno­ten imple­men­tiert werden

Grund­sätze des Datennetzes

Daten als Pro­dukt
Pro­dukt­ge­danke, Bereit­stel­lung nütz­li­cher Daten, die ver­trau­ens­wür­dig und in einer Viel­zahl von Anwen­dungs­fäl­len wie­der­ver­wend­bar sind
Dezen­tra­li­sierte Eigen­tü­mer­schaft
Umstel­lung von zen­tra­ler Daten­ver­wal­tung auf ein bereichs­be­zo­ge­nes Eigen­tums­mo­dell
Selbst­be­die­nungs-Daten­platt­form
Ermög­licht Pro­du­zen­ten, ihre Daten zu ver­öf­fent­li­chen, Ver­brau­chern einen leich­te­ren Zugang und för­dert einen leben­di­gen Markt­platz
Föde­rierte Ver­wal­tung
Föde­rierte Aus­füh­rung und zen­tra­li­sierte Befä­hi­gung, Nut­zung kodi­fi­zier­ter Stan­dards und auto­ma­ti­sier­ter Prozesse

Nach­dem wir nun ver­stan­den haben, was und warum Daten­ver­flech­tun­gen von Bedeu­tung sind und für viel Wir­bel sor­gen. Las­sen Sie uns nun sehen, wie die Snow­flake-Platt­form die naht­lose Erstel­lung von Daten­ge­flech­ten ermöglicht

Erstel­len von Daten­ge­flech­ten auf Snowflake

Snow­flake ist eine Cloud-basierte Data-Ware­housing-Platt­form, die eine hoch ska­lier­bare und fle­xi­ble Umge­bung für die Spei­che­rung und Ana­lyse gro­ßer Daten­men­gen bie­tet. Auf­grund der Unter­stüt­zung von Man­dan­ten­fä­hig­keit und Daten­frei­gabe eig­net sie sich her­vor­ra­gend für die Imple­men­tie­rung einer Data Mesh-Architektur.

Mit Snow­flake kön­nen Unter­neh­men sepa­rate Kon­ten für jede Daten­do­mäne erstel­len, um ihre eige­nen Daten zu ver­wal­ten und den Zugriff und die Berech­ti­gun­gen zu kon­trol­lie­ren. Gleich­zei­tig kön­nen sie mit­hilfe der siche­ren Daten­frei­ga­be­funk­tio­nen von Snow­flake Daten domä­nen­über­grei­fend gemein­sam nut­zen, was die Zusam­men­ar­beit för­dert und die Daten­du­pli­zie­rung reduziert.

Elas­ti­sche Berech­nungs­funk­tio­nen : Snow­flake unter­stützt sepa­rate Res­sour­cen für ver­schie­dene Teams oder Arbeits­las­ten. Funk­tio­nen wie die Iso­lie­rung von Arbeits­las­ten, die Ver­mei­dung von Res­sour­cen­kon­flik­ten, meh­rere Rechen­clus­ter, die auf die­sel­ben oder unter­schied­li­che Daten zugrei­fen, RBAC-Gover­nance usw. sind die Vor­aus­set­zung für eine Datenvernetzung.

Gover­nance in Snow­flake: Daten kön­nen in Snow­flake ein­fach ver­wal­tet und zusam­men­ge­führt wer­den. Wenn wir dies in 3 ver­schie­dene Abschnitte unter­tei­len, bie­tet Snow­flake Lösun­gen für diese, wie unten gezeigt.
Teil 1: Ken­nen Sie Ihre Daten. Die Funk­tio­nen von Snow­flake sind Object Tag­ging, Daten­klas­si­fi­zie­rung, etc.
Teil 2: Schüt­zen Sie Ihre Daten. Die ver­wen­de­ten Funk­tio­nen von Snow­flake sind Zugriffs­richt­li­nien für Zei­len, dyna­mi­sche Daten­mas­kie­rung, externe Toke­ni­sie­rung, usw..
Teil 3: Frei­schal­ten und Über­wa­chen. Ver­wen­dete Funk­tio­nen von Snow­flake sind Res­sour­cen­mo­ni­tore, Snow­sight Dashboards.

Snow­flake, eine ver­teilte Platt­form : Snow­flake ist eine ver­teilte, aber ver­bun­dene Platt­form, die Silos ver­mei­det und es ver­teil­ten Teams ermög­licht, Daten auf gere­gelte und sichere Weise zu teilen.

Anwen­dungs­fall

1. Glo­bale Ver­mö­gens­ver­wal­tungs­ge­sell­schaft beschleu­nigt die digi­tale Trans­for­ma­tion
Um Inves­ti­ti­ons­pro­zesse in eine ska­lier­bare, digi­tale Umge­bung zu brin­gen und ganz­heit­li­che Lösun­gen zu ermög­li­chen, hat sich die­ser große Ver­mö­gens­ver­wal­ter mit Other Orga­niza­tion und Snow­flake zusam­men­ge­tan, um seine Daten- und Ana­ly­se­funk­tio­nen zu moder­ni­sie­ren und das Daten­öko­sys­tem der Zukunft in der Cloud aufzubauen.

Zusam­men­fas­sung:

Zusam­men­fas­sung

Zusam­men­fas­send lässt sich sagen, dass Snow­flake und Data Mesh per­fekt zusam­men­pas­sen. Snow­flake bie­tet den ein­zel­nen Domä­nen-Teams einen ein­fa­chen Zugang zu Spei­cher, Rechen­leis­tung, Leis­tung, Ska­lier­bar­keit, Sicher­heit und Gover­nance. Die Daten­do­mä­nen-Teams (Archi­tek­ten) nut­zen diese Res­sour­cen, um Daten­pro­dukte zu erstel­len, die sie pro­blem­los mit ande­ren Daten­do­mä­nen-Teams tei­len können.

Erfah­ren Sie hier mehr über Lösun­gen im Bereich Snow­flake oder besu­chen Sie eines unse­rer kos­ten­lo­sen Web­i­nare.

Quelle: medium.com