Hadoop Admi­nis­tra­tor Training


Das Ziel die­ses vier­tä­gi­gen Semi­nars ist die Ver­mitt­lung von prak­ti­schem und theo­re­ti­schem Wis­sen, wel­ches für den Ein­satz eines Hadoop Clus­ters benö­tigt wird. Es wer­den unter ande­rem Instal­la­ti­ons­schritte behan­delt sowie die Anpas­sung von einer Viel­zahl von Konfigurationsparametern.
Semi­nare

Beschrei­bung


Das Ziel die­ses vier­tä­gi­gen Semi­nars ist die Ver­mitt­lung von prak­ti­schem und theo­re­ti­schem Wis­sen, wel­ches für den Ein­satz eines Hadoop Clus­ters benö­tigt wird. Es wer­den unter ande­rem Instal­la­ti­ons­schritte behan­delt sowie die Anpas­sung von einer Viel­zahl von Kon­fi­gu­ra­ti­ons­pa­ra­me­tern. Die Teil­neh­mer ler­nen, wie man ein Hadoop Clus­ter war­tet und über­wacht, auf­tre­tende Feh­ler­mel­dun­gen bear­bei­tet und prak­ti­sche Lösun­gen dafür fin­det. Der Schwer­punkt liegt hier­bei ins­be­son­dere auf den prak­ti­schen Übun­gen, die das Ziel haben, dass die Teil­neh­mer nach dem Semi­nar als Hadoop Admi­nis­tra­to­ren arbei­ten können.



Anmel­dung


Datum:

Standort:

Preis:

18/09/2023 - 21/09/2023


Münster (D)


3.200,00 EUR (zzgl. MwSt.)

26/09/2023 - 29/09/2023


Baden-Dättwil (CH)


3.800,00 CHF (zzgl. MwSt.)

Experten:



Lukas Hestermann


Geschäftsführer

Jetzt regis­trie­ren

Agenda


Während des Seminars werden die Teilnehmer in die Rolle des Hadoop Administrators versetzt, der für 6 Maschinen, die in einer Cloud gehalten werden, zuständig ist. Das Ziel ist es, ein Hadoop Cluster mit mehreren Server-Knoten (Multi-Node) zu installieren und entsprechend zu konfigurieren. Das Cluster muss voll funktionsfähig sein und so konfiguriert sein, dass es unterschiedlichen Ausfällen standhält. Neben den Tätigkeiten wie auf Alerts zu antworten und die Konfiguration zu optimieren, sind die Teilnehmer für typische Wartungsaufgaben wie Hinzufügen von neuen Diensten, Verschieben von Diensten über die Knoten, Hinzufügen von neuen Knoten, Tuning des YARN-Schedulers sowie die Visualisierung von Metriken etc. verantwortlich.


Tag 1 – Basiswissen Hadoop

Über­blick: HDFS

  • Grund­le­gende Schritte wie z.B. Schreiben/Lesen von Files, Repli­ka­tio­nen, Meta­da­ten und Datenblöcken
  • Dae­mons und CLus­ter Infrastruktur
  • Grund­le­gende Eigen­schaf­ten und Use Cases

Über­blick: YARN

  • Dae­mons und Clus­ter Infrastruktur
  • Übung: Instal­la­tion der zen­tra­len Komp­nen­ten eines Hadoop Clusters
  • Übung: Über­prü­fung einer HDFS Installation
  • Optio­nal: Über­blick auf ein Map­Re­duce Paradigma
  • Übung: Über­prü­fung einer YARN Installation
Tag 2 – Hadoop für Fortgeschrittene

Admi­nis­tra­tive Aspekte von HDFS

  • NameNode Interna wie z.B. Meta­da­ten-Manage­ment, Startup Pro­ze­dur, Checkpointing
  • Wich­tige Konfigurationseinstellungen
  • Übung: Wech­sel der java-Heap-Größe, Restart eines Namenode, Über­prfung des CHeck­poin­ting Sta­tus, Restart eines DataNodes

Admi­nis­tra­tive Aspekte von YARN

  • Clus­ter Res­sour­cen wie z.B. Con­tai­ner Sizing, Limi­ta­tio­nen und Management
  • Wich­tige Konfigurationseinstellungen
  • Übung: Über­prü­fung und Tuning von resour­cen­be­zo­ge­nen Ein­stel­lun­gen wie vco­res und RAM

Über­blick auf Pro­jekte eines Hadoop Ecosystems

  • Trans­fer von Daten zum HDFS mit Sqoop
  • Ver­ar­bei­tung von Daten in einem Hadoop Clus­ter mit Hive und Pig
  • Inter­ak­tive Ana­lyse mit Spark
  • Über­mitt­lung von Oozie Workflows
  • Übung: Ein­satz von Hive, Sqoop und Spark
Tag 3 – Sicherheit, Verfügbarkeit und hohe Verfügbarkeit

Hadoop Sicher­heit

  • Authen­ti­fi­zie­rung mit Kerberos
  • Auto­ri­sie­rung von Hadoop (z.B. Sen­try, Ranger)
  • Sicher­heits-bezo­gene Features

Fort­ge­schrit­tene Konfigurationseinstellungen

  • Übung: Akti­vie­rung eines NameNode HA und Über­prü­fung der Korrektheit
  • Übung: Migra­tion eines NameNode auf einen ande­ren Host
  • Bonus-Übun­gen: Akti­vie­rung und Über­prü­fung von Resour­ce­Ma­na­ger HA
Tag 4 – Wartung, Betrieb und Tuning

Hard­ware- und Soft­ware-Aus­wahl für Hadoop Clus­ter YARN Scheduler

  • Übung: Kon­fi­gu­ra­tion von multi-ten­ant Queues und ACLs in dem Scheduler

Moni­to­ring und Alerting

  • Übung: Erstel­len von benut­zer­de­fi­nier­ten Dia­gram­men, Dash­boards und Alerts

War­tungs­tä­tig­kei­ten des Cluster

  • Übung: Erwei­tern des Clus­ters, Aus­ba­lan­cie­ren von HDFS, Kon­fi­gu­ra­ti­ons­än­de­run­gen, Trou­ble­shoo­ting von einer Spark Applikation


Kurz­in­for­ma­tion


Vor­aus­set­zun­gen



Wün­schens­wert ist Basis­wis­sen von Linux Sys­te­men. Erfah­rung im Bereich Hadoop ist nicht notwendig.
Berück­sich­ti­gen Sie bitte, dass eine Min­dest­teil­neh­mer­zahl von 4 Per­so­nen vor­ge­se­hen ist. Ansons­ten kann das Semi­nar nicht stattfinden.


Methode



Prä­senz­se­mi­nar:
Das Semi­nar wird aus Vor­trag, Dis­kus­si­ons­run­den sowie prak­ti­schen Übun­gen in Klein­grup­pen bestehen. Viele Bei­spiele aus der Pra­xis ver­deut­li­chen die Theorie


Ziel­gruppe



Das Semi­nar rich­tet sich an IT-Mit­ar­bei­ter, die für die Instal­la­tion, Kon­fi­gu­ra­tion und War­tung eines Hadoop Clus­ters zustän­dig sind.


Sprachen



Semi­nar: Deutsch


Stornierung



Bei Stor­nie­rung bis zu 14 Tage vor Ver­an­stal­tungs­be­ginn erhe­ben wir eine Bear­bei­tungs­ge­bühr von 50% der Gebühr. Bei spä­te­ren Absa­gen wird der gesamte Bei­trag fällig. 


Soll­ten wir aus wich­ti­gem Grund (z. B. Erkran­kung des/der Refe­ren­ten) gezwun­gen sein, den Kurs abzu­sa­gen, so tei­len wir Ihnen die­ses umge­hend mit. Wir wer­den Ihnen in die­sem Fall einen Ersatz­ter­min anbie­ten. Passt die­ser nicht zu Ihrer Ter­min­pla­nung, erhal­ten Sie die bereits gezahlte Work­shop­ge­bühr in vol­ler Höhe zurück. Dar­über hin­aus­ge­hende Ansprü­che bestehen nicht.




Möch­ten Sie
als Team teilnehmen?


Mel­den Sie drei Teil­neh­mer an und erhal­ten Sie 10% Rabatt ab dem drit­ten Teilnehmer.

Stand­ort


Baden-Dättwil (CH)


Anfahrtsbeschreibung finden Sie hier.

Münster (D)


Anfahrtsbeschreibung finden Sie hier.

Work­shoppreis


Die Preise sind Net­to­preise und ver­ste­hen sich zuzüg­lich der zur Zeit gül­ti­gen Mehrwertsteuer.
Der Preis für die­ses Semi­nar beträgt:


Work­shop­dauer
4 Tage

EUR 3.200

CHF 3.800


top