Scheduling wie die Großen: Corona für Hadoop

Um mit ihren mehreren Petabyte großen Datenbanken besser zurechtzukommen (das größte Cluster umfasst etwa 100 PByte), haben die Entwickler des sozialen Netzes Facebook einen eigenen Scheduling-Algorithmus für Hadoop entwickelt. Corona bearbeitet seit Mitte des Jahres alle Hive-Anfragen (Hadoops Data-Warehouse-System) und hat so die Stelle des MapReduce-Scheduling eingenommen, mit dem Hadoop normalerweise arbeitet.
Map-Reduce-Scheduling
Bild: Facebook-Engineering

Im Gegensatz zum MapReduce-Ansatz wird mit Corona das Ressourcen-Management von der Job-Koordination getrennt. Ein Cluster-Manager hat die Aufgabe, Knoten im Cluster zu finden und deren freie Ressourcen zu ermitteln. Für jeden Job wird darüber hinaus ein Job-Tracker erstellt, der entweder im selben Prozess wie der Client oder als einzelner Prozess im Cluster laufen kann.
Corona-Schema
Bild: Facebook-Engineering

Ein weiterer Unterschied zum MapReduce-Scheduling-Framework ist das Verwenden eines Push-orientierten Scheduling, statt des Pull-Ansatzes: Nachdem der Job-Tracker Ressourcen-Anfragen erhalten hat, gibt er die entsprechenden Ressourcenbewilligungen zurück an der Tracker, der dann Tasks erstellt und diese zum Ausführen an den Task-Tracker weiterleitet. Da das Scheduling keinem bestimmten Rhythmus unterliegt, wird so die Latenz reduziert.

Innerhalb von drei Monaten wurden das gesamte Facebook-Produktionssystem von MapReduce-Scheduling auf Corona umgestellt, was dem Cluster, laut Entwicklern, unter anderem bessere Skalierbarkeit, weniger Latenz und besseres Ressourcenmanagement einbrachte. Die kommende MapReduce-Version, welche auch unter dem Namen YARN bekannt ist, kann als Alternative zu Corona gesehen werden. Allerdings konnte das Team aufgrund der Anforderungen nicht auf MapReduce 2.0 warten.

Der Corona-Quellcode ist im Hadoop-Github-Repository zu finden. (jul)

View the original article here

Read More

Projekt Serengeti: Hadoop in der VMware-Cloud

VMware hat ein neues Open-Source-Projekt vorgestellt, mit dem sich das Big-Data-Framework Apache Hadoop in virtualisierten und Cloud-Umgebungen einsetzen lassen soll. VMware will erreichen, dass die Serengeti genannte Technik VMwares vSphere zur Hauptvirtualisierungsplattform für Hadoop-Anwendungen werden lässt. Serengeti 0.5 steht als Toolkit unter der Apache-2.0-Lizenz auf der Hosting-Plattform GitHub, aber auch als Binärpaket auf der VMware-Website zum Download bereit. Die Technik kann mit unterschiedlichen Hadoop-Implementierungen umgehen, beispielsweise Hadoop 1.0, CDH 3 von Cloudera, Hortonworks 1.0, Greenplum HD 1.0 sowie von IBM und MapR.

VMware hat außerdem bekannt gegeben, Code an das Hadoop-Projekt zu übergeben. Insbesondere die Komponenten HDFS (Hadoop Distributed File System) und Hadoop MapReduce sollen Codespenden erhalten, auf deren Basis sich Daten und MapReduce-Jobs optimal über eine virtuelle Infrastruktur verteilen lassen sollen.

Aktualisiert wurde auch das Projekt Spring for Apache Hadoop, mit dem Entwickler in ihren mit dem Spring Framework erstellten Java-Anwendungen Hadoop als Analysewerkzeug nutzen sowie aus Spring heraus Hadoop-Services wie MapReduce, Hive und Pig erstellen, konfigurieren und ausführen können. Angekündigt wurde alles diese Woche auf dem Hadoop Summit in San Jose, auf dem auch weitere Hadoop-Unternehmen mit Produktankündigungen aufwarteten, etwa Cloudera, DataStax, Hortonworks, MapR und Pentaho. (ane)

View the original article here

Read More

Studie: Hadoop wird ähnlich erfolgreich wie Linux

Die Marktforscher von International Data Corporation (IDC) gehen in einer Studie davon aus, dass der Markt rund um das MapReduce-Framework Hadoop bis 2016 auf etwas mehr als 810 Millionen US-Dollar anwachsen werde. Das entspricht offenbar einer jährlichen Steigerungsrate von rund 60 Prozent. Für das vergangene Jahr macht das Marktforschungsunternehmen einen 77 Millionen US-Dollar schweren Markt aus.

Das in Java geschriebene "Big Data"-Framework hat seine Heimat in der Apache Software Foundation. Es liegt seit dem letzten Jahreswechsel in Version 1.0 vor und wurde speziell zur Entwicklung skalierbarer, verteilter Anwendungen zur Analyse großer Datenmengen ausgelegt. Es implementiert den von Google entwickelten MapReduce-Algorithmus. Dabei werden Daten über die Knoten eines Hadoop-Clusters verteilt redundant gespeichert, die Analyseprogramme laufen parallel auf allen Knoten und analysieren die jeweils dort vorgehaltenen Daten.

Die Zahl für 2011 bewertet IDC als geringe Summe, da das Thema Big Data ja seit einiger Zeit schon in aller Munde sei. Allerdings prognostizieren die Marktforscher, dass die Zahlen dem großen Interesse am Thema schon bald entsprechen würden. Sie gehen gar so weit, den Aufschwung des Hadoop-Ökosystems mit der Entwicklung von Linux zu vergleichen, das seinerzeit ebenfalls eine überdurchschnittlich große mediale Aufmerksamkeit auf sich zog und mittlerweile in nahezu jedem Rechenzentrum zu finden sei.

Siehe dazu auch:

Oliver Fischer; Datenverarbeiter; Verarbeiten großer verteilter Datenmengen mit Hadoop, Artikel auf heise DeveloperOliver Fischer; Datenverarbeiter #2; Verarbeiten großer verteilter Datenmengen mit Hadoop, ein Beispiel; Artikel auf heise DeveloperApache Hadoop im heise Software-Verzeichnis (ane)

View the original article here

Read More