Snow­flake hat gerade die Ver­öf­fent­li­chung von Dyna­mic Tables ange­kün­digt, einer revo­lu­tio­nä­ren Funk­tion zur Ver­ein­fa­chung dekla­ra­ti­ver Datentransformationspipelines.

Was ist neu?

Erst vor weni­gen Tagen hat Snow­flake außer­dem inter­es­sante neue Funk­tio­nen spe­zi­ell für Data Engi­neers ange­kün­digt, wie das Lesen von Dateien mit einem Java‑, Scala- oder Python-Funk­ti­ons- oder Pro­ze­dur-Hand­ler und die Unter­stüt­zung von Snowpipe-Streaming-Replikation.

Snow­flake bie­tet nun grund­le­gende Ele­mente für ein naht­lo­ses Data Engi­nee­ring, indem es dyna­mi­sche Tabel­len bereit­stellt. Sie bie­ten einen ratio­na­li­sier­ten und effi­zi­en­ten Ansatz für die Umwand­lung von Daten zur Ver­wen­dung, wodurch die Not­wen­dig­keit einer kom­pli­zier­ten Auf­ga­ben­ab­folge, Abhän­gig­keits­über­wa­chung und Zeit­pla­nung ent­fällt. Durch die Defi­ni­tion des gewünsch­ten End­zu­stands der Trans­for­ma­tion mit­hilfe dyna­mi­scher Tabel­len ist Snow­flake in der Lage, die Fein­hei­ten der Pipe­line zu verwalten.

Bei der Erstel­lung einer dyna­mi­schen Tabelle defi­nie­ren Sie die Abfrage, die zur Trans­for­ma­tion von Daten aus einer oder meh­re­ren Basis- oder dyna­mi­schen Tabel­len ver­wen­det wird. Ein auto­ma­ti­sier­ter Aktua­li­sie­rungs­pro­zess ist dann für die regel­mä­ßige Aus­füh­rung die­ser Abfrage und die Aktua­li­sie­rung der dyna­mi­schen Tabelle mit allen an den Basis­ta­bel­len vor­ge­nom­me­nen Ände­run­gen verantwortlich.

Im Ver­gleich zu Strömen/Aufgaben nut­zen dyna­mi­sche Tabel­len die­sen auto­ma­ti­sier­ten Pro­zess, um die an den Basis­ta­bel­len vor­ge­nom­me­nen Ände­run­gen zu berech­nen und diese Ände­run­gen in die dyna­mi­sche Tabelle ein­zu­brin­gen. Der Pro­zess nutzt die Rechen­res­sour­cen des zuge­hö­ri­gen Ware­house, die Sie der dyna­mi­schen Tabelle zuweisen.

Bei der Erstel­lung einer dyna­mi­schen Tabelle haben Sie die Mög­lich­keit, eine gewünschte „Fri­sche“ für die Daten anzu­ge­ben, die die Ziel­ver­zö­ge­rung dar­stellt. Für tie­fere Ein­bli­cke soll­ten Sie die unten ver­linkte offi­zi­elle Doku­men­ta­tion verwenden.

Anwen­dungs­fälle für die Ver­wen­dung dyna­mi­scher Tabel­len könn­ten sein:

  • Das Schrei­ben von eige­nem Code, die Ver­fol­gung von Daten­ab­hän­gig­kei­ten und die Ver­wal­tung von Daten­ak­tua­li­sie­run­gen entfallen.
  • Ver­rin­ge­rung der Kom­ple­xi­tät von Daten­strö­men und Aufgaben.
  • Keine fein­kör­nige Kon­trolle über den Zeit­plan der Aktualisierungen.
  • Mate­ria­li­sie­rung der Ergeb­nisse einer Abfrage von meh­re­ren Basistabellen.

Fazit

Es han­delt sich also um eine groß­ar­tige neue Funk­tion, die die Daten­auf­be­rei­tung und ‑trans­for­ma­tion im Rah­men von ELT-Pro­zes­sen in Ihrem Snow­flake Data Ware­house ver­ein­fa­chen kann und eine gute Alter­na­tive zu Tasks darstellt.

Erfah­ren Sie hier mehr über Lösun­gen im Bereich Snow­flake oder besu­chen Sie eines unse­rer kos­ten­lo­sen Web­i­nare.

Quelle: Snow­flake