Apache Hadoop ist eine Open-Source-Lösung für die verteilte Datenverarbeitung in großen Datenmengen
Big Data ist ein Begriff aus dem Marketing, der die gesamte Idee der Datengewinnung aus Quellen wie Suchmaschinen, dem Kaufverhalten in Lebensmittelgeschäften, das durch Punktekarten erfasst wird, usw. umfasst. In der modernen Welt verfügt das Internet über so viele Datenquellen, dass sie ohne Verarbeitung oft unbrauchbar sind und die Verarbeitung durch einen einzelnen Server unglaublich viel Zeit in Anspruch nehmen würde. Hier kommt Apache Hadoop ins Spiel
Weniger Zeit für die Datenverarbeitung
Durch die Nutzung der Hadoop-Architektur zur Verteilung von Verarbeitungsaufgaben auf mehrere Maschinen in einem Netzwerk werden die Verarbeitungszeiten astronomisch verkürzt und Antworten können in angemessener Zeit ermittelt werden. Apache Hadoop ist in zwei verschiedene Komponenten aufgeteilt: eine Speicherkomponente und eine Verarbeitungskomponente. Vereinfacht ausgedrückt, macht Hapood aus mehreren physischen Maschinen einen virtuellen Server. In Wirklichkeit verwaltet Hadoop die Kommunikation zwischen mehreren Maschinen so, dass sie so eng zusammenarbeiten, dass es den Anschein hat, als würde nur eine Maschine an den Berechnungen arbeiten. Die Daten werden auf mehrere Maschinen verteilt, um gespeichert zu werden, und Verarbeitungsaufgaben werden von der Hadoop-Architektur zugewiesen und koordiniert. Diese Art von System ist eine Voraussetzung für die Umwandlung von Rohdaten in nützliche Informationen in der Größenordnung von Big Data-Inputs. Stellen Sie sich die Datenmenge vor, die Google jede Sekunde von Nutzern erhält, die Suchanfragen eingeben. Hadoop reduziert den Datensatz jedoch automatisch in kleinere, organisierte Teilmengen von Daten und weist diese überschaubaren Teilmengen bestimmten Ressourcen zu. Alle Ergebnisse werden dann zurückgemeldet und zu verwertbaren Informationen zusammengestellt.
Ein einfach einzurichtender Server
Obwohl das System komplex klingt, verbergen sich die meisten beweglichen Teile hinter einer Abstraktion. Das Einrichten des Hadoop-Servers ist relativ einfach, es müssen lediglich die Serverkomponenten auf einer Hardware installiert werden, die den Systemanforderungen entspricht. Der schwierigere Teil ist die Planung des Computernetzwerks, das der Hadoop-Server nutzen wird, um die Speicher- und Verarbeitungsaufgaben zu verteilen. Dazu kann man ein lokales Netzwerk einrichten oder mehrere Netzwerke über das Internet miteinander verbinden. Sie können auch bestehende Cloud-Dienste nutzen und für einen Hadoop-Cluster auf beliebten Cloud-Plattformen wie Microsoft Azure und Amazon EC2 bezahlen. Diese sind sogar noch einfacher zu konfigurieren, da Sie sie ad hoc aufsetzen und die Cluster dann außer Betrieb nehmen können, wenn Sie sie nicht mehr benötigen. Diese Arten von Clustern sind ideal für Tests, da Sie nur für die Zeit bezahlen, in der der Hadoop-Cluster aktiv ist.
Verarbeiten Sie Ihre Daten, um die Informationen zu erhalten, die Sie benötigen
Big Data ist eine extrem leistungsfähige Ressource, aber Daten sind nutzlos, wenn sie nicht richtig kategorisiert und in Informationen umgewandelt werden können. Derzeit bieten Hadoop-Cluster eine äußerst kosteneffiziente Methode für die Verarbeitung dieser Datensammlungen zu Informationen.
