Video: Desarrollo de aplicaciones para ambientes distribuidos (parte1) 2024
La solución para expandir los clústeres de Hadoop indefinidamente es federar el NameNode. Antes de que Hadoop 2 entrara en escena, los clústeres de Hadoop tenían que coincidir con el hecho de que NameNode ponía límites al grado en el que podían escalar. Pocos grupos pudieron escalar más allá de 3, 000 o 4, 000 nodos.
La necesidad de NameNode de mantener registros para cada bloque de datos almacenados en el clúster resultó ser el factor más importante que restringe el crecimiento del clúster. Cuando tiene demasiados bloques, se hace cada vez más difícil que NameNode se amplíe a medida que el clúster Hadoop se amplía.
Específicamente, debe configurar HDFS para que tenga varias instancias de NameNode ejecutándose por sí mismas, nodos maestros dedicados y luego hacer que cada NameNode solo sea responsable de los bloques de archivos en su propio espacio de nombres.
La figura muestra patrones de replicación de bloques de datos en HDFS. Puede ver un clúster de Hadoop con dos NameNodes que sirven un único clúster. Todos los nodos esclavos contienen bloques de ambos espacios de nombre.