Cloudera es una empresa que proporciona plataformas de datos basadas en Apache Hadoop. Son expertos en big data que también ofrecen a sus clientes soporte y servicios, así como formación. Fue fundada en 2008 para ayudar a las empresas a usaban Hadoop para obtener más valor de sus propios datos.
Apache Hadoop es un framework de software que soporta aplicaciones distribuidas bajo una licencia libre. Permite a las aplicaciones trabajar con miles de nodos y petabytes de datos.
Te interesa usar Cloudera si eres un usuario de negocio, para usar su plataforma de gestión y análisis de datos, o si eres un desarrollador, ya que podrás crear aplicaciones de Big Data en Apache Hadoop con herramientas de código abierto.
Pues bien, en este post te vamos a explicar en unos cuantos sencillos pasos qué es lo que tienes que hacer para instalar el Manager Server Express de Cloudera en tu Servidor en la Nube.
Pasos a seguir para la instalación
- Despliega un servidor con CentOS 7.
- Cambia /etc/hosts poniendo en el fichero lo siguiente: IP.PRIVADA.DE.LA.MAQUINA y nombre.dns.de.la.maquina para que la IP privada de la máquina resuelva al hostname
- En /etc/cloud/cloud.cfg hay que comentar la línea manage_etc_hosts para que quede comentada de la siguiente forma (en el caso de que no esté ya comentada):
#manage_etc_hosts: template
- Es mejor que des los permisos completos a /var/log con el siguiente comando para evitar errores:
# chmod a+wrx /var/log/
- Configura el repositorio de la siguiente manera:
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
mv cloudera-manager.repo /etc/yum.repos.d/ - Instala embedded DB:
# yum install cloudera-manager-server-db-2
- Arranca la DB:
# service cloudera-scm-server-db start
- Instala JDK:
# yum install oracle-j2sdk1.7
- Instala Cloudera Server Manager:
# yum install cloudera-manager-daemons cloudera-manager-server
- Instala y arranca el Agent:
# yum install cloudera-manager-agent cloudera-manager-daemons
# service cloudera-scm-agent start - Arranca Manager Server:
# service cloudera-scm-server start
- Por último, accede a la interfaz web y selecciona la versión express, que es gratuita, y procede a instalar los paquetes de HDFS (Y hive, mapreduce y lo que sea que necesites):http://ip.de.la.maquina:7180
Ya tienes tu Manager Server Express de Cloudera instalado.