Logstash

​ Logstash est un puissant outil de gestion de logs permettant d'effectuer une mise en forme avancée de ceux-ci. En effet, étant donné la diversité des formats, il peut rapidement devenir difficile de chercher une information précise apparaissant sous différentes formes, dans différents services. Logstash permet de pallier ce problème en définissant un tamis dans lequel sont filtrés les messages : il est alors possible de classifier l'information par la définition de champs. La sortie formatée est ensuite envoyée au cluster Elasticsearch afin d'être indexée.

Nous utilisons actuellement la version 2.0 de Logstash.

Pour chaque machine un serveur syslog (rsyslog ou syslog-ng) surveille les fichiers journaux. Chaque nouveau message est ainsi transféré vers le serveur Logstash, où il est analysé et formaté avant d'être transmis au cluster Elasticsearch.

Chaque WLC est configuré pour envoyer des traps SNMP sur logstash. Le niveau de verbosité de ces traps est configuré au niveau du WLC. Ces traps sont variés et contiennent une grande richesse d'informations sur l'utilisation du réseau Wifi.

Pour transmettre les journaux vers Logstash, il est nécessaire de créer sur la machine concernée le fichier /etc/rsyslog.d/forward.conf.

Par défaut rsyslog surveille déjà tous les messages système (cron, authentification, noyau, …).

Pour rajouter un fichier supplémentaire, il est nécessaire d'utiliser le module imfile de rsyslog :

  $ModLoad imfile

Puis pour chaque fichier à surveiller :

$InputFileName /var/log/service.log
$InputFileTag mon-service:
$InputFileStateFile stat-mon-service
$InputFileSeverity info
$InputRunFileMonitor

Le champ Tag doit contenir par défaut le nom du service d'où est issu le journal, mais il est possible de rajouter des règles supplémentaires dans Logstash.

Par exemple, pour un serveur web Apache :

$InputFileTag apache-mon-site-error:

créera un champ “program” contenant “apache”, un champ “vhost” contenant “mon-site” et un champ “apache_logtype” contenant “error”.

A noter que les deux points “:” finaux sont indispensables pour respecter le format syslog, et que l'entrée StateFile? doit être unique.

Puis pour tout envoyer vers le container Logstash sur le port 514 en UDP :

*.* @logstash.priv.minet.net:514

Les fichiers de configuration de Logstash sont situés sur la machine logstashvm à l'emplacement /etc/logstash/conf.d/.

Les différents fichiers décrivent les étapes de récupération des logs.

On note principalement trois sections :

• La section 10-input.conf définit les entrées. Ici on écoute sur le port 514 en UDP :

  udp {
    type => udp
    port => 514
  }

• Les sections 20-prefilter.conf et suivantes permettent de définir une chaîne de filtres à appliquer sur les données. Un des plugins de filtrage les plus utilisés est Grok : à partir d'une expression régulière, il capture des informations et les ajoute dans des champs. Certaines expressions régulières sont déjà définies dans l'installation de base Logstash, par exemple pour récupérer les données au format syslog :

  grok {
    match => [ "message", "<%{POSINT:priority}>%{SYSLOGBASE} %{GREEDYDATA:shortmessage}" ]
  }

Une liste des expressions pré-définies et de leur valeur est disponible sur le dépôt Git de Logstash.

Ensuite, on écrit les bons patterns pour matcher les logs radius, DHCP, etc.​

• La section 90-output.conf définit les sorties. Ici on envoie les données à l'un des noeuds (peu importe lequel) de notre cluster Elasticsearch :

output {
  elasticsearch {
    hosts => ['192.168.102.227:9200', '192.168.102.228:9200', '192.168.102.229:9200', '192.168.102.231:9200']
    template_overwrite => true
  }
}

La configuration des traps SNMP peut se faire en SSH sur le WLC ou en cliclic sur l'interface dans le menu “Management” → “SNMP Traps”. On envoie tout sur la machine logstash, port 162 par défaut, community monitoring.

On utilise le plugin snmptrap pour configurer une entrée de type SNMP trap dans 10-input.conf :

snmptrap {
    yamlmibdir => "/usr/share/logstash/vendor/bundle/jruby/1.9/gems/snmp-1.2.0/data/ruby/snmp/mibs/"
    type => "snmptrap"
    community => "monitoring"
    host => "0.0.0.0"
    port => "162"
    type => "snmptrap"
    tags => ["snmptrap", "snmp"]
}

Le rôle de la ligne de configuration yamlmibdir est explicité plus tard, les autres options sont relativement explicites.

On ajoute ensuite une série de filtres pour parser unifier les différentes clés et les rendre “plus jolies”. Regardez directement dans le fichier de conf pour avoir tous les détails, c'est une version modifiée de cet excellent exemple. La partie la plus importante est le parsing des addresses MAC en ruby :

ruby {
     code => "
        begin
            keys = event.to_hash.keys
            keys.each{|key|
                if ( key =~ /^.*::([^\.]+)\..*$/ )

                    newkey = key.gsub(/^.*::([^\.]+)\..*$/, '\1')
                    event.set(newkey, event.remove(key))
                    if ( newkey =~ /MacAddr(ess)*$/ && event.get(newkey) !~ /^(([0-9A-Fa-f]{2}[:-]){5}([0-9A-Fa-f]{2}),*)+$/)
                        event.set(newkey, event.get(newkey).unpack('C*').map { |a| a.to_s(16) }.join(':'))
                    end

                end
            }

        rescue Exception => e
            event.set('logstash_ruby_exception', 'snmptrap: ' + e.message)
        end
        "
}

Le plugin SNMP renvoie les MACs en ASCII et pas en hexa, ce qui rend à la base leur lecture particulièrement désagréable. Ce petit bout de ruby permet de corriger ça.

Comme vous le savez sans doute, le SNMP fonctionne par OID qui ont la forme suivante : 1.3.6.1.4.1.14179.2. Ces OIDs n'étant pas très agréables à lire pour un être humain, on utilise un MIB pour établir une association avec un identifiant plus agréable (bsnWireless ici).

Ces MIBs doivent être téléchargés et “compilés” pour que logstash puisse les utiliser. Pour celà, on télécharge les MIBs nécessaires ainsi que leurs dépendances dans le dossier /usr/share/snmp/mibs/.

Les MIBs Cisco sont disponibles sur leur site, les non-Cisco peuvent être trouvés sur ici

Le chemin de base pour “compiler” les MIBs et les convertir en YAML est ici /usr/share/logstash/vendor/bundle/jruby/1.9/gems/snmp-1.2.0/. On utilise le script import.rb (disponible ici) : ruby import.rb /usr/share/snmp/mibs.

Notez que l'utilisation du script nécessite que smitools (ou libsmi en fonction du paquet) soit installé

Si tout se passe bien, les mibs sont générés en YAML dans /usr/share/logstash/vendor/bundle/jruby/1.9/gems/snmp-1.2.0/data/ruby/snmp/mibs/ et logstash sera en mesure de s'en servir !

Comme pour les autres composants de la stack ELK, n'hésitez pas à consulter la très bonne documentation officielle.