Big Data Einstieg | Schulung, Seminar

Einführung

In diesem Abschnitt erfährt der Teilnehmer etwas über die riesigen Datenmengen, die durch die Welt bewegt werden und darüber, dass nicht das Speichern, sondern das Suchen nach und Analysieren von Informationen das Problem ist und wie die Lösung für das Problem ausschaut.

Big Data – Supercomputer oder “Commodity Hardware”?

Die Lösung des Problems heißt verteilte Verarbeitung. Dafür gibt es unterschiedliche Ansätze, die sich in Leistungsfähigkeit und Kosten unterscheiden. Mit dem quelloffenen Ansatz für ein verteiltes Software-System auf Standard-Hardwarekomponenten hat sich Hadoop innerhalb weniger Jahre zum defacto-Standard entwickelt. Hier erhalten die Teilnehmer einen allerersten Überblick zu Hadoop.

Hadoop Distributed File System (HDFS)

Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt erfahren Teilnehmer das Wichtigste über HDFS. Es wird die Kommunikation von und mit HDFS demonstriert.

YARN

Die massive Parallelisierung in Hadoop erfordert eine leistungsfähige Steuerung. Diese war in der ersten Version limitiert und primär auf MapReduce fokussiert. Die aktuelle Version weist deutliche Verbesserungen auf, die in diesem Abschnitt vorgestellt werden.

MapReduce

Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von Hadoop. In diesem Abschnitt lernen die Teilnehmer das von Google eingeführte Programmiermodell für nebenläufige Berechnungen näher kennen. Es wird die Anwendung von MapReduce demonstriert.

Hive

Mit Hive steht eine Schnittstelle zur Verfügung, die den Zugang zu strukturierten Daten in Hadoop mit einer SQL-ähnlichen Syntax erlaubt. In diesem Abschnitt lernen die Teilnehmer die Möglichkeiten und Grenzen von Hive kennen. Es wird die Anwendung von Hive demonstriert.

Pig

Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in Hadoop auszuführen und wird oft in Verbindung mit Hive eingesetzt. In diesem Abschnitt lernen die Teilnehmer die Möglichkeiten von Pig kennen. Es wird die Anwendung von Pig demonstriert.

HBase

HBase ist eine Datenbank für Hadoop, allerdings keine im klassisch relationalen Sinne. In diesem Abschnitt erfahren die Teilnehmer Wissenswertes über HBase und die möglichen Stolperfallen, die dem in der relationalen Welt erfahrenen Anwender begegnen können. Es wird die Anwendung von HBase demonstriert.

Spark

Spark ist eine universelle und leistungsfähige Umgebung für die verteilte Verarbeitung. Mit Hilfe von Spark können sowohl strukturierte Daten mit SQL-Kommandos abgefragt, Auswertungen nahe Echtzeit durchgeführt und Aufgabenstellungen für das Data Mining gelöst werden. Es wird die Anwendung von Spark, Spark SQL und Spark MLLib demonstriert.

Weitere Komponenten

Hadoop ist ein Framework und unter dem Schirm der Apache Foundation existieren eine Vielzahl von Projekten mit zum Teil konkurrierenden Lösungen. In diesem Abschnitt erhalten die Teilnehmer einen Überblick über weitere interessante Komponenten wie beispielsweise Kafka, Storm, Kudu, Impala und andere. Es wird die Anwendung weiterer Komponenten demonstriert .

Hard- und Software für Hadoop

Hadoop stellt keine „besonderen“ Hardware-Anforderungen. Das stimmt und stimmt wiederum auch nicht. In diesem Abschnitt wird der scheinbare Widerspruch aufgeklärt. Darüber hinaus werden die beiden wichtigsten Hadoop-Distributionen übersichtlich vorgestellt und die Unterschiede beleuchtet. Es wird eine der beiden Verwaltungskonsolen Ambari (Hortonworks) und Cloudera Manager (Cloudera) demonstriert.

Anwendungsbeispiele für Hadoop

Und wozu der ganze Aufwand? In diesem abschließenden Abschnitt lernen die Teilnehmer mögliche Anwendungsfälle für Big Data kennen.

• Entscheider, (IT-)Architekt, Projektmanager, (Fach-)Anwender

• Praktische Erfahrung in der IT-Informationsverarbeitung erforderlich. Folgende Seminare und Kurse können darüber hinaus dieses Angebot ergänzen: 1) Einstiegs-Seminare (Schwierigkeitsgrad 100) a. Big Data Technologien, Strategien und Trends, b. Hortonworks HDP Einstieg, c. Cloudera CDH Einstieg 2) Überblicks-Seminare (Schwierigkeitsgrad 200) a. Big Data Architekturen Überblick, b. Hadoop Datentechnologien Überblick