El uso que se puede dar a este fantástico motor de búsqueda es muy variado. En esta primera entrada hablaré del proceso de instalación de los componentes: elasticsearch, kibana y filebeat.
Hay que reconocerle al creador del producto el esmero que presenta en su documentación y en sus webs para explicar que se puede obtener de su producto. Dejo un enlace que explica de manera muy sencilla las utilidades de este producto.
En esta entrada explico el proceso de instalación del stack de elasticsearch 7.8.0. Durante casi dos años he trabajado con la versión 6 del producto. He instalado el producto en una distribución Ubuntu 18.04.
Se van a instalar como se ha comentado anteriormente 3 productos. El orden de instalación es importante:
- Elasticsearch: el motor de búsqueda con los datos que se van guardando en él.
- Kibana: aplicación web gráfica para mostrar la información que contiene elasticsearch.
- filebeat: aplicación que va a pasar los datos de logs del sistema y/o servidores web hacia el motor elasticsearch.
Es necesario disponer de al menos la version 11 de Java (SDK) instalada en el sistema.
Instalación Elasticsearch
Para realizar la instalación de manera correcta se va a añadir el repositorio de elasticsearch en versión 7. Es necesario lanzar los siguientes comandos en la consola de ubuntu:
sudo wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt-get update
Ahora se pasa a instalar el paquete lanzando:
sudo apt-get install elasticsearch
Una vez que se ha instalado se edita el fichero de configuración de elasticsearch (elasticsearch.yml). Para ello se lanza:
sudo nano /etc/elasticsearch/elasticsearch.yml
Me gusta que visualmente en kibana se tenga un nombre de cluster adecuado así que una vez abierto el fichero hay que descomentar la propiedad cluster.name y se escribe en ella el nombre que se desee. En mi caso he puesto juanonlab-cluster.
# Use a descriptive name for your cluster: # cluster.name: juanonlab-cluster #
En la siguiente captura se puede observar como queda en Kibana este nombre (una vez que se instale).
Ahora hay que añadir el siguiente comando para que al reiniciar el servidor arranque de manera automática:
sudo systemctl enable elasticsearch
Para lanzarlo:
sudo systemctl start elasticsearch
Para comprobar su estado:
sudo systemctl status elasticsearch
La salida debe ser parecida a esta:
root@juanonlabserver:~# sudo systemctl status elasticsearch
● elasticsearch.service - Elasticsearch
Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled; vendor preset: enabled)
Active: active (running) since Sun 2020-06-28 12:37:03 CEST; 4h 3min ago
Docs: https://www.elastic.co
Main PID: 5746 (java)
Tasks: 76 (limit: 4915)
CGroup: /system.slice/elasticsearch.service
├─5746 /usr/share/elasticsearch/jdk/bin/java -Xshare:auto -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10
└─5946 /usr/share/elasticsearch/modules/x-pack-ml/platform/linux-x86_64/bin/controller
Otra manera de comprobar que el motor está funcionando es lanzar el comando:
curl -X GET "localhost:9200"
Si todo es correcto se muestra la version, el cluster, el uuid y ciertas propiedades
{
"name" : "juanonlabserver",
"cluster_name" : "juanonlab-cluster",
"cluster_uuid" : "4Tg7uLcRRiqPRWGCNnXe6Q",
"version" : {
"number" : "7.8.0",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
"build_date" : "2020-06-14T19:35:50.234439Z",
"build_snapshot" : false,
"lucene_version" : "8.5.1",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
Instalación Kibana
Kibana nos va a permitir visualizar los datos que se han ido almacenando en elasticsearch.
Para instalar Kibana:
sudo apt install kibana
Antes de lanzar el programa voy a realizar una modificación propia de mi entorno. Yo dispongo de un servidor nginx que realiza la función de proxy inverso y que va a redireccionar hacia Kibana (que se instala como localhost). Si la instalación se va a realizar en local no es necesario realizar este paso ya que kibana queda instalado en localhost:5601.
Habilitar basePath y autenticación básica en nginx (Opcional)
Editar el fichero kibana.yml para cambiar el base path (no necesario si se va a instalar el servidor sólo en local):
sudo nano /etc/kibana/kibana.yml
Dentro del fichero descomentar el base path indicando la ruta que va a tener kibana. En mi caso también se llama kibana.
# Enables you to specify a path to mount Kibana at if you are running behind a proxy. # Use the `server.rewriteBasePath` setting to tell Kibana if it should remove the basePath # from requests it receives, and to prevent a deprecation warning at startup. # This setting cannot end in a slash. server.basePath: "/kibana"
Puedes obtener más información en el hilo de reverse-proxy de kibana.
Si además quieres añadir seguridad a tu servidor nginx cuando redireccione hacia kibana puede consultar esta funcionalidad en la entrada de restricción de acceso de nginx que se encuentra en el propio servidor (restricción básica).
Habilitar en el arranque y lanzar kibana
Para habilitar que kibana arranque cuando se reinicie el servidor linux:
sudo systemctl enable kibana
Para iniciar la aplicación:
sudo systemctl start kibana
Comprobar el estado de kibana
Una vez arrancado kibana tardará un tiempo en conectar con elasticsearch. Una vez que se han esperado unos minutos se puede observar si está funcionando mediante el comando:
curl -XGET 'http://localhost:5601/status'
En la siguiente captura se muestra como se accede a kibana a través de un proxy inverso. Lo tengo protegido con contraseña
Instalación Filebeat
Filebeat es la herramienta que va a permitir el paso de logs del sistema y de los servidores hacia elasticsearch. De manera muy resumida las acciones son:
- Filebeat: envía los logs al motor de elasticsearch
- Elasticsearch: guarda los datos que recibe de filebeat
- Kibana: muestra de manera gráfica los datos que se encuentran alojados en Elasticsearch
Para instalar Filebeat es necesario lanzar el comando:
sudo apt-get install filebeat
A continuación se muestran una serie de órdenes para administrar los módulos que enviarán información a Elasticsearch.
En mi caso tengo 4 módulos habilitados:
- apache2
- kibana
- nginx
- system
Mediante el comando:
filebeat modules list
Se listan los comandos habilitados y los disponibles:
Enabled: apache2 kibana nginx system Disabled: activemq apache auditd aws azure ..
Por ejemplo, para deshabilitar el módulo system:
filebeat modules disable system
Y para habilitarlo:
filebeat modules disable system
Kibana por defecto no dispone informes (llamados dashboards). Para crearlos en kibana basta con lanzar el comando:
filebeat setup --dashboards
Se puede encontrar más información sobre los dashboards en la entrada de carga de dashboards en kibana.
En la siguiente captura se muestran los dos dashboards de nginx disponibles.
Conclusión
Instalar las 3 herramientas lleva un tiempo pero una vez realizado ya se puede hacer uso de este magnífico motor de búsqueda. En la próxima entrada daré un repaso a los dashboards que utilizo para monitorizar mi servidor. Se podrá comprobar la cantidad de intentos de acceso que se realizan a diario hacia mi servidor.