Blog Inforeseau.com – GNU Linux, technologie et autres geekeries

Installation DRBD sur Centos 5.5 ou redhat

Voici un nouveau post « mémo » pour l’installation de DRBD sur Centos 5.5 ou Redhat.

DRBD est utilisé sur les clusters de haute disponibilité afin de maintenir des volumes synchronisés entre plusieurs machines, et ainsi de garantir une reprise transparente en cas cas de panne d’un système par exemple. DRBD exploite le réseau TCP/IP pour effectuer la synchronisation des données. Il est souvent qualifié de système de RAID logiciel en réseau, agissant au niveau bloc des périphériques de stockages, et étant de faire totalement transparent pour le système.

Installation DRBD Centos 5.5 :
On télépharge la dernière version (au moment de la rédaction du post), on décompresse, installe les dépendances et on compile (idéalement dans /usr/local/src) :

wget http://oss.linbit.com/drbd/8.3/drbd-8.3.10.tar.gz
tar xvzf drbd-8.3.10.tar.gz
cd drbd-8.3.10
yum install make gcc glibc-devel flex kernel-devel

Compilation des outils :

./configure
make
make install

Compilation du pilote (module) pour le noyau (kernel) pour un noyau modulaire, évidemment ! :

cd drbd
make
make install

Les pilotes (modules) sont installé dans le dossier /lib/module/`uname -r`/kernel/drivers/block/.

On va également forcer le chargement du module automatiquement au reboot de la machine :

echo modprobe drbd>>/etc/rc.modules
chmod +x /etc/rc.modules

Note : Si vous mettez à jour votre machine, et que le noyau est changé, il faudra recompiler les modules comme précédemment.

Note 2 : on peut aussi générer un RPM comme indiqué ici : http://www.drbd.org/users-guide-emb/s-build-rpm.html mais dans tous les cas, en cas de nouveau noyau, il faut les recréer, donc l’intégration en RPM est recommandée (pour faciliter la gestion des outils installés) mais pas obligatoire sur un point de vue fonctionnel.

Évidemment il faut réaliser cette étape sur tous les noeuds du futur cluster!! (Donc sur toutes les machines qui vont gérer le volume, dans mon cas, 2 machines).

Pour poursuivre, nous allons utiliser 2 éléments de stockage (disques / partitions / volumes accessibles par dev-mapper => volgroup etc.) de tailles strictement identiques. Dans le cas présent je pratique l’installation en environnement de test, en utilisant virtualbox. Je vais donc ajouter sur mes deux virtualbox un disque dur virtuel de taille identique (5Go) avec une seule partition utilisant 100% du disque (qui seront utilisés ici an tant que partitions/périphériques directement, soit /dev/sdb1).

Il est noté sur le site du projet que, bien que ça soit techniquement possible, il est décommandé d’utiliser des volumes basés sur des fichiers montés en boucle interne (loop device) ref : http://www.drbd.org/users-guide-emb/ch-configure.html.

On va ensuite préparer la partie réseau. Il est recommandé pour DRBD d’utiliser la ressource la plus performante possible bien entendu. Dans mon cas, je vais effectuer la réplication par un VPN afin de pouvoir tenter l’opération dans plusieurs configurations. Dabord en local puis au travers d’un Wan. Les ports utilisés commencent au 7788 jusqu’au 7799, de plus, DRBD ne pourra pas utiliser plus d’une interface réseau (limité à une seule connexion TCP active).

Nous allons devoir sur notre Centos 5.5 ouvrir les ports réseaux en TCP de 7788 à 7799 au niveau d’iptables.
Pour ce faire, on va ouvrir le fichier /etc/sysconfig/iptables et ajouter les lignes suivantes à la cinquième ligne en partant du la dernière (qui contient le COMMIT, l’ordre des règles a une importance). On notera que les instructions IPTABLES dans centos utilisent une syntaxe propre à Centos/redhat/fedora pour les règles d’entrées :

#Autorisation port 7788 à 7799 pour le proof of concept DRBD en entrée sur la carte tap0 utilisée par le VPN
-A RH-Firewall-1-INPUT -i tap0 -p tcp -m state -m tcp --dport 7788:7799 --state NEW -j ACCEPT

Puis on relance iptables pour appliquer les modifications /etc/rc.d/init.d/iptables restart

On va maintenant procéder à la configuration de DRBD. Comme on a installé DRBD depuis les sources, les fichiers par défaut (skel) ne sont pas présents dans /etc/ mais dans /usr/locat/etc.

On va donc les copier et créer le lien qui permettra à drbd de trouver ses petits.

cp -R /usr/local/etc/* /etc/

On renomme le dossier pour pouvoir créer le lien symbolique :

mv /usr/local/etc /usr/local/etc.old

On crée le lien qui va permettre au tout de trouver les fichiers de configuration :

ln -s /etc /usr/local/

Par convention c’est le fichier /etc/drbd.d/global_common.conf qui contiends les sections « global » et « common » tandis que les « resource » seront définie dans des fichier « .res » individuels (un pour chaque resource) dans le dossier /etc/drbd.d.

Référence: http://www.drbd.org/users-guide-emb/s-configure-resource.html

La configuration « de base » dans le fichier /etc/drbd.d/global_common.conf contient déjà les éléments de base comme suit :

global {
  usage-count yes;
}
common {
  protocol C;
}

Puis nous allons créer le fichier /etc/drbd.d/r0.res qui va définir la ressource DRBD que nous utiliserons dans cet exemple :

resource r0 {
  net {
    allow-two-primaries;
  }
  startup {
    become-primary-on both;
  }
  on pchp {
    device    /dev/drbd1;
    disk      /dev/sdb1;
    address   10.21.3.16:7789;
    meta-disk internal;
  }
  on pcmsi {
    device    /dev/drbd1;
    disk      /dev/hdb1;
    address   10.21.3.17:7789;
    meta-disk internal;
  }
}

Note : ici on nomme la ressource r0, pchp est mon premier pc (doit correspondre au hostname de votre machine, et doit être un nom reconnu par l’une et l’autre des machine !), pcmsi le second, avec leur IP respectives, ainsi que le « disk » utilisé sur chacune des machines (rappel : ils doivent être de taille strictement identique, mais ça peut être n’importe quel périphérique, attention à bien placer les informations dans le fichier de configuration sur les 2 machines).
Note 2 : info sur meta-disk ici http://www.drbd.org/users-guide-emb/ch-internals.html#s-internal-meta-data
Note 3 : Cette configuration autorise les 2 noeuds à être primaires et demande au premier initié de devenir primaire par défaut.

Nous allons maintenant activer la ressource qui va exploiter les partitions (celle de 5Go créées au début de la manipulation, on peut utiliser le disque/périphérique entier aussi /dev/sdb et /dev/hdb dans mon cas) définies dans le fichier de configuration.

Les étapes suivantes sont à réaliser sur tous les noeuds (machines avec DRBD) concernés par la « resource ».

On crée donc les metadata du périphérique (resource = r0 pour l’exemple) :

drbdadm create-md resource

ce qui donne :

Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.

On attache la resource au périphérique (resource est à remplacer par r0 comme pour la commande d’avant):

drbdadm attach resource

Si vous avez une erreur relative au module, comme indiqué il faudra charger le module (pilote dans le noyau) :

modprobe drbd

et recommencer la commande (il faudra penser à ajouter le module dans la listes des modules chargés par défaut : http://www.centos.org/docs/5/html/Deployment_Guide-en-US/s1-kernel-modules-persistant.html).

On définit les paramètres de synchronisation (remplacer resource par r0):

drbdadm syncer resource

On connecte les noeuds (remplacer resource par r0):

drbdadm connect resource

Note : les étapes drbdadm attach, drbdadm syncer, et drbdadm connect peuvent être remplacée par l’unique commande : « drbdadm up » ou « drbdadm down » pour deconnecter

Si tout s’est bien passé, les informations sur le statut de la connexion doivent s’afficher en interrogeant /proc/drbd :

cat /proc/drbd

ceci doit renvoyer une information de ce type :

version: 8.3.10 (api:88/proto:86-96)
GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by root@localhost.localdomain, 2011-03-08 21:09:46

 1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:5236960

L’information importante est ici le « Connected ». Si ça n’est pas le cas, vérifiez que vos hôtes communiquent bien et que les hostnames utilisés pour définir la « resource » au niveau de la valeur « on » sont des noms valident et qui communiquent.

Nous allons maintenant synchroniser les données d’un hôte sur l’autre. Dans le cas présent, pas de préférence, les 2 unités sont vides, cependant, si vous devez reconnecter un noeud qui n’a plus de donnée, la commande est à lancer sur celui qui contient les données !!! ATTENTION, là machine où la commande est lancée écrasera l’autre ! NE PAS SE TROMPER.

On synchronise depuis la machine source (remplacer resource par r0):

drbdadm -- --overwrite-data-of-peer primary resource

Après avoir lancé cette commande, la synchronisation complète commence !
On peut en surveiller l’évolution en répétant la commande :

cat /proc/drbd

(Ca ressemble étrangement à une reconstruction de RAID avec un contrôleur smartarray pour ceux qui connaissent).

Votre réplication DRBD est maintenant opérationnelle ! Tout ce que vous allez faire sur votre périphérique sera maintenant répliqué sur l’autre ! (sous réserve que le débit de votre réseau le permette – vous voyez l’évolution sur /proc/drbd)

Si aucun des noeuds n’est passé « Primary » malgré les options du fichier de configuration, vous pouvez « forcer » l’élection du « primary » en tapant la commande suivante sur la machine où ça doit être appliqué :

drbdadm primary resource

De fait pour passer un noeud en secondaire :

drbdadm secondary resource

Vous trouverez ici une information pour démarrer avec un volume pré-rempli et éviter la première synchronisation :
http://www.drbd.org/users-guide-emb/s-using-truck-based-replication.html

Plus généralement, les informations sur l’utilisation et configuration de DRBD sont disponibles ici:
http://www.drbd.org/users-guide-emb/p-work.html

Vous pouvez ensuite utiliser votre nouveau périphérique via /dev/drbdX ou X est le numéro accordé à votre périphérique/partition DRBD (dans l’ordre d’implémentation en suivant votre fichier .res spécifié par la ligne « device »).
Il est donc ensuite simple de formater le support comme n’importe quel disque / périphérique de stockage :

mkfs.ext3 /dev/drbd1

Voilà, j’espère que ce mini guide vous donnera une idée de ce que peut représenter la mise en place de DRBD. Évidemment une telle solution doit s’inscrire dans une stratégie globale de gestion des données afin de garantir la plus haute disponibilité de l’infrastructure. Ce type de solution va de pair avec une gestion des flux en load balancing, et une redondance des ressources de stockage, au moins équipée d’un raid 1 ou mieux.

Le débit réseau nécessaire au maintient de la synchronisation dépendra du volume de données modifiées sur la plateforme, afin que le système puisse répliquer les écritures le plus rapidement possible, et ainsi diminuer la perte en cas de panne d’un noeud.

Vous pouvez également définir le débit réseau à utiliser par chaque « resource » avec l’option suivante dans la configuration de celle ci :

resource resource
  syncer {
    rate 40M;
    ...
  }
  ...
}

C’est en bytes/s et pas en bit/s.

Gérer les erreurs :
http://www.drbd.org/users-guide-emb/s-configure-io-error-behavior.html

Une autre ressource intéressante sur la mise en place de DRBD :
http://blog.guiguiabloc.fr/index.php/2008/10/17/cluster-haute-disponibilite-chez-ovh-avec-ipfailover-heartbeat-et-drbd-via-ipsec/
et là :
http://blog.guiguiabloc.fr/index.php/2009/02/16/mise-en-oeuvre-dun-systeme-de-fichier-distribue-et-acces-concurrents-en-san-avec-drbd-iscsi-ocfs2-et-dm-multipath/

Autre(s) référence(s) :
http://www.centos.org/docs/5/html/Deployment_Guide-en-US/s1-kernel-modules-persistant.html

Tags: disque, drbd, ethernet, haute disponibilité, ip, raid, replication, Reseau, stockage