Inodes, quand ils te tiennent !
24/11/16 15:10 Classé dans: Techniques
![logo_tux](logo_tux.png)
df -h
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
/dev/dm-0 5,2G 1,1G 3,9G 23% /
udev 10M 0 10M 0% /dev
tmpfs 201M 4,4M 196M 3% /run
tmpfs 501M 0 501M 0% /dev/shm
tmpfs 5,0M 0 5,0M 0% /run/lock
tmpfs 501M 0 501M 0% /sys/fs/cgroup
/dev/vda1 236M 33M 191M 15% /boot
/dev/mapper/vmitop--vg-home 5,8G 53M 5,4G 1% /home
/dev/mapper/vmitop--vg-tmp 360M 2,1M 335M 1% /tmp
/dev/mapper/vmitop--vg-var 2,7G 651M 1,9G 26% /var
En y regardant de plus près dans les erreurs de mise à jour, le problème se situait dans le filesystem /var. Le système ne pouvait créer de répertoire !
Après quelques recherches sur le web, je comprenais le problème : plus d'inodes disponibles dans /var. En utilisant la commande ci-dessous, le constat est sans appel :
df -i
Sys. de fichiers Inœuds IUtil. ILibre IUti% Monté sur
/dev/dm-0 352704 44691 308013 13% /
udev 125828 341 125487 1% /dev
tmpfs 128039 452 127587 1% /run
tmpfs 128039 1 128038 1% /dev/shm
tmpfs 128039 6 128033 1% /run/lock
tmpfs 128039 13 128026 1% /sys/fs/cgroup
/dev/vda1 62248 328 61920 1% /boot
/dev/mapper/vmitop--vg-home 389376 26 389350 1% /home
/dev/mapper/vmitop--vg-tmp 97536 21 97515 1% /tmp
/dev/mapper/vmitop--vg-var 179520 0 179520 100% /var
On découvre qu'il ne reste aucune inode disponible.
Les inodes sont très importants dans un système de fichiers UNIX/LINUX. Chaque fichier ou dossier (sous Unix, tout est fichier) doit correspondre à un numéro d'inode. Celui-ci contient les métadonnées des fichiers et en particulier les droits d'accès. La quantité d'inodes est déterminée lors du formatage de la partition. Le nombre maximum dépend de la taille de partition.
Maintenant que le problème avait été identifié. Je devais comprendre qu'elle en était la cause. J'ai commencé par rechercher l'endroit d'où provenait le trop grand nombre d'utilisation d'inode (fichier ou dossier). J'ai donc utilisé cette commande ci-dessous en commençant par la racine de /var
find . -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -n
Cette commande indique le nombre d'inodes utilisé par les fichiers et sous-dossiers. Ensuite, je me suis déplacé de sous-dossier en sous-dossier pour terminer au dossier /var/www/html/glpi/files/_sessions. Celui-ci est utilisé par GLPI pour les sessions du plugin webservice. Un nombre très impressionnant de fichiers de session avait été créé par une expérimentation du module Centreon-glpi. Malheureusement pour moi, je n'avais pas arrêté le mode debug et les fichiers ont continué à alimenter ce dossier, mais pas suffisamment pour diminuer l'espace d'occupation du disque. Extrait des fichiers créés
-rw------- 1 www-data www-data 4836 oct. 30 11:58 sess_kokg1brvo5bberg4n4metgrok7
-rw------- 1 www-data www-data 4836 août 23 00:43 sess_kokngagajp6olvgo8aio429q57
-rw------- 1 www-data www-data 4836 sept. 5 16:43 sess_kokq1tfts61mlhgjf0pb1iuoe6
-rw------- 1 www-data www-data 4836 oct. 6 19:25 sess_koksekgael9rrlccbvp9jqqv80
-rw------- 1 www-data www-data 4836 juil. 25 00:59 sess_kol3g9hb8hig166giv66nd4kt4
-rw------- 1 www-data www-data 4836 sept. 28 01:20 sess_kol3iabshq2asmv210t7vone64
-rw------- 1 www-data www-data 2043 juil. 29 02:07 sess_kol9lijfl4pjdoj1f3pfb1l003
-rw------- 1 www-data www-data 4836 oct. 16 03:51 sess_kolckbhi6i75c81sas6481k7v7
-rw------- 1 www-data www-data 4836 sept. 22 20:06 sess_koliud04em2a9hbocv9sgarge3
-rw------- 1 www-data www-data 4836 oct. 8 14:55 sess_kolmd214l3ok2a9u2nsngb6op7
-rw------- 1 www-data www-data 4836 sept. 30 23:56 sess_kolpv9jtnjn2j6ngs7s617j157
-rw------- 1 www-data www-data 4836 oct. 21 10:25 sess_kolthgifq6sg5586jojclt4d36
La cause étant identifiée, j'ai donc décidé d'arrêter la connexion provoquant la création des fichiers. Ensuite, il fallait supprimer les fichiers existant pour libérer les inodes. J'utilisais donc la commande rm et je pensais que le tour était joué. Malheureusement, à cause du nombre impressionnant de fichier, j'ai eu droit au résultat suivant :
root@vmitop:/var/www/html/glpi/files/_sessions# rm sess*
bash: /bin/rm: Liste d'arguments trop longue
Retour aux recherches sur la toile pour trouver la commande qui tue :
root@vmitop:/var/www/html/glpi/files/_sessions# find . -type f -name 'sess*' -delete
Au bout de quelques minutes, la situation est devenue correcte avec un nombre d'inode libre suffisant.
df -i
Sys. de fichiers Inœuds IUtil. ILibre IUti% Monté sur
/dev/dm-0 352704 42431 310273 13% /
udev 125831 341 125490 1% /dev
tmpfs 128041 450 127591 1% /run
tmpfs 128041 1 128040 1% /dev/shm
tmpfs 128041 6 128035 1% /run/lock
tmpfs 128041 13 128028 1% /sys/fs/cgroup
/dev/mapper/vmitop--vg-tmp 97536 21 97515 1% /tmp
/dev/mapper/vmitop--vg-home 389376 26 389350 1% /home
/dev/vda1 62248 328 61920 1% /boot
/dev/mapper/vmitop--vg-var 179520 18579 160941 11% /var
Maintenant, pour éviter ce genre de problème, il reste une chose importante à réaliser : superviser le taux d'utilisation des inodes de mon serveur. Grâce aux plugins de Centreon réalisés par Quentin Garnier, c'est un jeu d'enfant !
J'ai donc opté par le module os::linux::snmp::plugin avec le mode inodes. Attention, prérequis pour le SNMP, ajouter la directive
includeAllDisks 10%
Première méthode
La commande vérifie tous les systèmes de fichier. Pour éviter un trop grand nombre de métriques, l'utilisation de l'option filter-perfdata est nécessaire. Nous utiliserons la commande suivante :
./centreon_plugins.pl --plugin=os::linux::snmp::plugin --mode=inodes --snmp-community=public --hostname=192.168.0.241 --snmp-version=2 --filter-perfdata='^used_/$|^used_/boot$|^used_/home$|^used_/tmp$|^used_/var$' --warning-usage=70 --critical-usage=90
Dans Centreon la commande sera sous cette forme :
$CENTREONPLUGINS$/centreon_plugins.pl --plugin=os::linux::snmp::plugin --mode=inodes --warning-usage=$_SERVICEWARNING$ --critical-usage=$_SERVICECRITICAL$ --hostname=$HOSTADDRESS$ --snmp-version=$_HOSTSNMPVERSION$ --snmp-community=$_HOSTSNMPCOMMUNITY$ --filter-perfdata=$_SERVICEFILTER$
Il suffira de créer le modèle de service et de compléter chaque service avec la macro FILTER.
Deuxième méthode
Lorsque certains systèmes de fichiers spécialisés génère des faux positifs comme cet exemple :
./centreon_plugins.pl --plugin=os::linux::snmp::plugin --mode=inodes --snmp-community=public --hostname=192.168.0.163 --snmp-version=2 --filter-perfdata='^used_/$|^used_/boot$|^used_/home$|^used_/tmp$|^used_/var$' --warning-usage=70 --critical-usage=90
CRITICAL: Inode partition '/dev/pts' Used: 100 % - Inode partition '/proc' Used: 100 % - Inode partition '/sys' Used: 100 % - Inode partition '/var/lib/nfs/rpc_pipefs' Used: 100 % | 'used_/'=7%;0:70;0:90;0;100 'used_/boot'=0%;0:70;0:90;0;100 'used_/home'=0%;0:70;0:90;0;100 'used_/tmp'=0%;0:70;0:90;0;100 'used_/var'=6%;0:70;0:90;0;100
Nous allons utiliser l'option diskpath mais comme nous voulons superviser plusieurs système de fichier en même temps, nous utiliserons la désignation numérique. Pour connaître la position numérique de vos Filesystem, lancer la commande en mode debug :
./centreon_plugins.pl --plugin=os::linux::snmp::plugin --mode=inodes --snmp-community=public --hostname=192.168.0.163 --snmp-version=2 --debug
OK: All inode partitions are ok | 'used_/'=7%;;;0;100 'used_/boot'=0%;;;0;100 'used_/dev'=0%;;;0;100 'used_/dev/pts'=100%;;;0;100 'used_/home'=0%;;;0;100 'used_/proc'=100%;;;0;100 'used_/run'=0%;;;0;100 'used_/run/lock'=0%;;;0;100 'used_/run/shm'=0%;;;0;100 'used_/sys'=100%;;;0;100 'used_/tmp'=0%;;;0;100 'used_/usr'=39%;;;0;100 'used_/var'=6%;;;0;100 'used_/var/lib/nfs/rpc_pipefs'=100%;;;0;100
disk path : '/', device : 'rootfs'
disk path : '/var', device : '/dev/mapper/deb260full-var'
disk path : '/sys', device : 'sysfs'
disk path : '/proc', device : 'proc'
disk path : '/dev', device : 'udev'
disk path : '/dev/pts', device : 'devpts'
disk path : '/run', device : 'tmpfs'
disk path : '/run/lock', device : 'tmpfs'
disk path : '/run/shm', device : 'tmpfs'
disk path : '/boot', device : '/dev/vda1'
disk path : '/home', device : '/dev/mapper/deb260full-home'
disk path : '/tmp', device : '/dev/mapper/deb260full-tmp'
disk path : '/usr', device : '/dev/mapper/deb260full-usr'
disk path : '/var/lib/nfs/rpc_pipefs', device : 'rpc_pipefs'
Inode partition '/' Used: 7 %
Inode partition '/boot' Used: 0 %
Inode partition '/dev' Used: 0 %
Inode partition '/dev/pts' Used: 100 %
Inode partition '/home' Used: 0 %
Inode partition '/proc' Used: 100 %
Inode partition '/run' Used: 0 %
Inode partition '/run/lock' Used: 0 %
Inode partition '/run/shm' Used: 0 %
Inode partition '/sys' Used: 100 %
Inode partition '/tmp' Used: 0 %
Inode partition '/usr' Used: 39 %
Inode partition '/var' Used: 6 %
Inode partition '/var/lib/nfs/rpc_pipefs' Used: 100 %
Nous déterminons nos FileSystem numériquement par ordre d'arrivée :
1 -> /
2 -> /var
10 -> /root
11 -> /home
12 -> /tmp
13 -> /usr
Nous pouvons créer notre commande comme ceci:
./centreon_plugins.pl --plugin=os::linux::snmp::plugin --mode=inodes --snmp-community=public --hostname=192.168.0.163 --snmp-version=2 --diskpath=1,2,10,11,12,13 --warning-usage=70 --critical-usage=90
Nous compléterons notre précédente commande avec l'option diskpath.
$CENTREONPLUGINS$/centreon_plugins.pl --plugin=os::linux::snmp::plugin --mode=inodes --warning-usage=$_SERVICEWARNING$ --critical-usage=$_SERVICECRITICAL$ --hostname=$HOSTADDRESS$ --snmp-version=$_HOSTSNMPVERSION$ --snmp-community=$_HOSTSNMPCOMMUNITY$ --diskpath=$_SERVICEDISKPATH$ —filter-perfdata=$_SERVICEFILTER$
Lors de la création du service, il ne faudra pas compléter la macro FILTER mais il faudra affecter les valeurs des FileSystem dans la macro DISKPATH.
Et voici le graphe généré par la supervision.
Vous allez me dire que ce n'est pas transcendant mais cette vérification me permettra d'éviter quelques désagréments 😀.
blog comments powered by Disqus