Consideraciones de rack de hadoop: variables ficticias

Un principio básico de Hadoop es escalar con nodos esclavos adicionales para satisfacer las crecientes demandas de almacenamiento y procesamiento de datos. En un modelo de escalamiento horizontal, debe considerar cuidadosamente el diseño del clúster porque, en última instancia, docenas, e incluso cientos, de nodos esclavos necesitarán ser atormentados, alimentados, conectados en red y enfriados.

Factores de forma del servidor

Una de las primeras opciones que los arquitectos de TI enfrentarán al diseñar un clúster Hadoop es cuál de los siguientes dos factores de forma se debe usar para los nodos Hadoop:

• Servidor Blade: Diseñado para una densidad máxima, puede meter tantos de estos bebés en un solo rack como sea posible. Los servidores Blade encajan en los receptáculos blade, que tienen muchos componentes de servidor estándar, como almacenamiento dedicado, redes, alimentación y refrigeración. Estos componentes se comparten entre los servidores blade, lo que significa que cada servidor blade individual puede ser mucho más pequeño.

  Los servidores Blade son una opción atractiva en la superficie, ya que puede tomar un bastidor estándar y desplegar entre 40 y 50 de estos servidores blade. El problema con el uso de blades para las implementaciones de Hadoop es que dependen de ciertos componentes compartidos, lo que no está en línea con la arquitectura de Hadoop compartida, donde cada uno de los nodos esclavos es autónomo y tiene sus propios recursos dedicados.

  Lo que es más importante, las hojas tienen poco espacio para el almacenamiento conectado localmente, a menudo con no más de dos o tres compartimentos de unidad. Este no es un arranque para Hadoop, ya que los nodos esclavos necesitan una capacidad de almacenamiento mucho más dedicada.

• Servidor en rack: Servidores completos sin componentes compartidos y espacio para expansión de hardware, los servidores en rack son la verdadera opción para Hadoop porque son muy autónomos. Un servidor en rack que está configurado adecuadamente para ser un nodo esclavo Hadoop generalmente ocupa dos RU, por lo que puede incluir 20 de ellos en un rack estándar.

Coste de propiedad

Al elegir y diseñar un nodo esclavo, sus consideraciones más importantes suelen ser los costos iniciales de adquisición y el volumen de almacenamiento. Sin embargo, el costo de propiedad también es importante. Sin embargo, es un buen acto de equilibrio, porque las opciones que afectan el costo de adquisición, el consumo de energía, la refrigeración, el rendimiento del hardware y la densidad a menudo son opuestas. En nombre de ayudarlo a tomar buenas decisiones, le ofrecemos algunos consejos (bastante específicos):

• Reserve suministros de energía redundantes para los nodos maestros. Tener fuentes de alimentación redundantes para los nodos esclavos es excesivo: una falla en la fuente de alimentación en un nodo esclavo no afectaría en gran medida al clúster.Sin embargo, tener fuentes de alimentación redundantes en todos los nodos esclavos aumentaría el consumo de energía y generaría más calor.

• Elija velocidades de reloj intermedias para CPU de nodo esclavo . Las CPU con velocidades de reloj más altas no solo cuestan más, sino que también usan más energía y generan mucho más calor.

• Elija los servidores en rack que están diseñados para Hadoop. Con la creciente popularidad de Hadoop, todos los principales proveedores de hardware ahora ofrecen servidores en rack que son los nodos esclavos ideales, con 12 a 20 bahías de unidades para almacenamiento conectado localmente.

  Los servidores en bastidor diseñados para funcionar como nodos esclavos de Hadoop son normalmente demasiado grandes para caber en un factor de forma de una RU, pero ocupar dos RU puede dar como resultado un espacio desperdiciado. Para un uso más eficiente del espacio, ciertos proveedores de hardware han lanzado servidores en rack que agrupan múltiples nodos esclavos en un solo chasis.

  Como ejemplo, en esta forma comprimida, un bastidor estándar puede tener hasta 27 nodos esclavos (incluso con conmutadores de red), donde cada nodo esclavo tiene espacio para 15 unidades de disco para HDFS. El resultado de esta disposición es una densidad mucho mayor y un mejor uso del espacio en el centro de datos.