Installation DRBD sur Centos 5.5 ou redhat

Voici un nouveau post « mémo » pour l’installation de DRBD sur Centos 5.5 ou Redhat.

DRBD est utilisé sur les clusters de haute disponibilité afin de maintenir des volumes synchronisés entre plusieurs machines, et ainsi de garantir une reprise transparente en cas cas de panne d’un système par exemple. DRBD exploite le réseau TCP/IP pour effectuer la synchronisation des données. Il est souvent qualifié de système de RAID logiciel en réseau, agissant au niveau bloc des périphériques de stockages, et étant de faire totalement transparent pour le système.

Installation DRBD Centos 5.5 :
On télépharge la dernière version (au moment de la rédaction du post), on décompresse, installe les dépendances et on compile (idéalement dans /usr/local/src) :
[bash]wget http://oss.linbit.com/drbd/8.3/drbd-8.3.10.tar.gz
tar xvzf drbd-8.3.10.tar.gz
cd drbd-8.3.10
yum install make gcc glibc-devel flex kernel-devel[/bash]
Compilation des outils :
[bash]./configure
make
make install[/bash]

Compilation du pilote (module) pour le noyau (kernel) pour un noyau modulaire, évidemment ! :
[bash]cd drbd
make
make install[/bash]

Les pilotes (modules) sont installé dans le dossier /lib/module/`uname -r`/kernel/drivers/block/.

On va également forcer le chargement du module automatiquement au reboot de la machine :
[bash]echo modprobe drbd>>/etc/rc.modules
chmod +x /etc/rc.modules[/bash]

Note : Si vous mettez à jour votre machine, et que le noyau est changé, il faudra recompiler les modules comme précédemment.

Note 2 : on peut aussi générer un RPM comme indiqué ici : http://www.drbd.org/users-guide-emb/s-build-rpm.html mais dans tous les cas, en cas de nouveau noyau, il faut les recréer, donc l’intégration en RPM est recommandée (pour faciliter la gestion des outils installés) mais pas obligatoire sur un point de vue fonctionnel.

Évidemment il faut réaliser cette étape sur tous les noeuds du futur cluster!! (Donc sur toutes les machines qui vont gérer le volume, dans mon cas, 2 machines).

Pour poursuivre, nous allons utiliser 2 éléments de stockage (disques / partitions / volumes accessibles par dev-mapper => volgroup etc.) de tailles strictement identiques. Dans le cas présent je pratique l’installation en environnement de test, en utilisant virtualbox. Je vais donc ajouter sur mes deux virtualbox un disque dur virtuel de taille identique (5Go) avec une seule partition utilisant 100% du disque (qui seront utilisés ici an tant que partitions/périphériques directement, soit /dev/sdb1).

Il est noté sur le site du projet que, bien que ça soit techniquement possible, il est décommandé d’utiliser des volumes basés sur des fichiers montés en boucle interne (loop device) ref : http://www.drbd.org/users-guide-emb/ch-configure.html.

On va ensuite préparer la partie réseau. Il est recommandé pour DRBD d’utiliser la ressource la plus performante possible bien entendu. Dans mon cas, je vais effectuer la réplication par un VPN afin de pouvoir tenter l’opération dans plusieurs configurations. Dabord en local puis au travers d’un Wan. Les ports utilisés commencent au 7788 jusqu’au 7799, de plus, DRBD ne pourra pas utiliser plus d’une interface réseau (limité à une seule connexion TCP active).

Nous allons devoir sur notre Centos 5.5 ouvrir les ports réseaux en TCP de 7788 à 7799 au niveau d’iptables.
Pour ce faire, on va ouvrir le fichier /etc/sysconfig/iptables et ajouter les lignes suivantes à la cinquième ligne en partant du la dernière (qui contient le COMMIT, l’ordre des règles a une importance). On notera que les instructions IPTABLES dans centos utilisent une syntaxe propre à Centos/redhat/fedora pour les règles d’entrées :

[bash]#Autorisation port 7788 à 7799 pour le proof of concept DRBD en entrée sur la carte tap0 utilisée par le VPN
-A RH-Firewall-1-INPUT -i tap0 -p tcp -m state -m tcp –dport 7788:7799 –state NEW -j ACCEPT[/bash]

Puis on relance iptables pour appliquer les modifications /etc/rc.d/init.d/iptables restart

On va maintenant procéder à la configuration de DRBD. Comme on a installé DRBD depuis les sources, les fichiers par défaut (skel) ne sont pas présents dans /etc/ mais dans /usr/locat/etc.

On va donc les copier et créer le lien qui permettra à drbd de trouver ses petits.

[bash]cp -R /usr/local/etc/* /etc/[/bash]

On renomme le dossier pour pouvoir créer le lien symbolique :
[bash]mv /usr/local/etc /usr/local/etc.old[/bash]

On crée le lien qui va permettre au tout de trouver les fichiers de configuration :
[bash]ln -s /etc /usr/local/[/bash]

Par convention c’est le fichier /etc/drbd.d/global_common.conf qui contiends les sections « global » et « common » tandis que les « resource » seront définie dans des fichier « .res » individuels (un pour chaque resource) dans le dossier /etc/drbd.d.

Référence: http://www.drbd.org/users-guide-emb/s-configure-resource.html

La configuration « de base » dans le fichier /etc/drbd.d/global_common.conf contient déjà les éléments de base comme suit :
[bash]global {
usage-count yes;
}
common {
protocol C;
}[/bash]

Puis nous allons créer le fichier /etc/drbd.d/r0.res qui va définir la ressource DRBD que nous utiliserons dans cet exemple :
[bash]resource r0 {
net {
allow-two-primaries;
}
startup {
become-primary-on both;
}
on pchp {
device /dev/drbd1;
disk /dev/sdb1;
address 10.21.3.16:7789;
meta-disk internal;
}
on pcmsi {
device /dev/drbd1;
disk /dev/hdb1;
address 10.21.3.17:7789;
meta-disk internal;
}
}[/bash]

Note : ici on nomme la ressource r0, pchp est mon premier pc (doit correspondre au hostname de votre machine, et doit être un nom reconnu par l’une et l’autre des machine !), pcmsi le second, avec leur IP respectives, ainsi que le « disk » utilisé sur chacune des machines (rappel : ils doivent être de taille strictement identique, mais ça peut être n’importe quel périphérique, attention à bien placer les informations dans le fichier de configuration sur les 2 machines).
Note 2 : info sur meta-disk ici http://www.drbd.org/users-guide-emb/ch-internals.html#s-internal-meta-data
Note 3 : Cette configuration autorise les 2 noeuds à être primaires et demande au premier initié de devenir primaire par défaut.

Nous allons maintenant activer la ressource qui va exploiter les partitions (celle de 5Go créées au début de la manipulation, on peut utiliser le disque/périphérique entier aussi /dev/sdb et /dev/hdb dans mon cas) définies dans le fichier de configuration.

Les étapes suivantes sont à réaliser sur tous les noeuds (machines avec DRBD) concernés par la « resource ».

On crée donc les metadata du périphérique (resource = r0 pour l’exemple) :
[bash]drbdadm create-md resource[/bash]

ce qui donne :
[bash]Writing meta data…
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.[/bash]

On attache la resource au périphérique (resource est à remplacer par r0 comme pour la commande d’avant):
[bash]drbdadm attach resource[/bash]

Si vous avez une erreur relative au module, comme indiqué il faudra charger le module (pilote dans le noyau) :
[bash]modprobe drbd[/bash]
et recommencer la commande (il faudra penser à ajouter le module dans la listes des modules chargés par défaut : http://www.centos.org/docs/5/html/Deployment_Guide-en-US/s1-kernel-modules-persistant.html).

On définit les paramètres de synchronisation (remplacer resource par r0):
[bash]drbdadm syncer resource[/bash]

On connecte les noeuds (remplacer resource par r0):
[bash]drbdadm connect resource[/bash]

Note : les étapes drbdadm attach, drbdadm syncer, et drbdadm connect peuvent être remplacée par l’unique commande : « drbdadm up » ou « drbdadm down » pour deconnecter

Si tout s’est bien passé, les informations sur le statut de la connexion doivent s’afficher en interrogeant /proc/drbd :
[bash]cat /proc/drbd[/bash]
ceci doit renvoyer une information de ce type :
[bash]version: 8.3.10 (api:88/proto:86-96)
GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by root@localhost.localdomain, 2011-03-08 21:09:46

1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r—–
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:5236960[/bash]

L’information importante est ici le « Connected ». Si ça n’est pas le cas, vérifiez que vos hôtes communiquent bien et que les hostnames utilisés pour définir la « resource » au niveau de la valeur « on » sont des noms valident et qui communiquent.

Nous allons maintenant synchroniser les données d’un hôte sur l’autre. Dans le cas présent, pas de préférence, les 2 unités sont vides, cependant, si vous devez reconnecter un noeud qui n’a plus de donnée, la commande est à lancer sur celui qui contient les données !!! ATTENTION, là machine où la commande est lancée écrasera l’autre ! NE PAS SE TROMPER.

On synchronise depuis la machine source (remplacer resource par r0):
[bash]drbdadm — –overwrite-data-of-peer primary resource[/bash]

Après avoir lancé cette commande, la synchronisation complète commence !
On peut en surveiller l’évolution en répétant la commande :
[bash]cat /proc/drbd[/bash]
(Ca ressemble étrangement à une reconstruction de RAID avec un contrôleur smartarray pour ceux qui connaissent).

Votre réplication DRBD est maintenant opérationnelle ! Tout ce que vous allez faire sur votre périphérique sera maintenant répliqué sur l’autre ! (sous réserve que le débit de votre réseau le permette – vous voyez l’évolution sur /proc/drbd)

Si aucun des noeuds n’est passé « Primary » malgré les options du fichier de configuration, vous pouvez « forcer » l’élection du « primary » en tapant la commande suivante sur la machine où ça doit être appliqué :
[bash]drbdadm primary resource[/bash]
De fait pour passer un noeud en secondaire :
[bash]drbdadm secondary resource[/bash]

Vous trouverez ici une information pour démarrer avec un volume pré-rempli et éviter la première synchronisation :
http://www.drbd.org/users-guide-emb/s-using-truck-based-replication.html

Plus généralement, les informations sur l’utilisation et configuration de DRBD sont disponibles ici:
http://www.drbd.org/users-guide-emb/p-work.html

Vous pouvez ensuite utiliser votre nouveau périphérique via /dev/drbdX ou X est le numéro accordé à votre périphérique/partition DRBD (dans l’ordre d’implémentation en suivant votre fichier .res spécifié par la ligne « device »).
Il est donc ensuite simple de formater le support comme n’importe quel disque / périphérique de stockage :
[bash]mkfs.ext3 /dev/drbd1[/bash]

Voilà, j’espère que ce mini guide vous donnera une idée de ce que peut représenter la mise en place de DRBD. Évidemment une telle solution doit s’inscrire dans une stratégie globale de gestion des données afin de garantir la plus haute disponibilité de l’infrastructure. Ce type de solution va de pair avec une gestion des flux en load balancing, et une redondance des ressources de stockage, au moins équipée d’un raid 1 ou mieux.

Le débit réseau nécessaire au maintient de la synchronisation dépendra du volume de données modifiées sur la plateforme, afin que le système puisse répliquer les écritures le plus rapidement possible, et ainsi diminuer la perte en cas de panne d’un noeud.

Vous pouvez également définir le débit réseau à utiliser par chaque « resource » avec l’option suivante dans la configuration de celle ci :
[bash]resource resource
syncer {
rate 40M;

}

}[/bash]
C’est en bytes/s et pas en bit/s.

Gérer les erreurs :
http://www.drbd.org/users-guide-emb/s-configure-io-error-behavior.html

Une autre ressource intéressante sur la mise en place de DRBD :
http://blog.guiguiabloc.fr/index.php/2008/10/17/cluster-haute-disponibilite-chez-ovh-avec-ipfailover-heartbeat-et-drbd-via-ipsec/
et là :
http://blog.guiguiabloc.fr/index.php/2009/02/16/mise-en-oeuvre-dun-systeme-de-fichier-distribue-et-acces-concurrents-en-san-avec-drbd-iscsi-ocfs2-et-dm-multipath/

Autre(s) référence(s) :
http://www.centos.org/docs/5/html/Deployment_Guide-en-US/s1-kernel-modules-persistant.html

Loading

Tags: , , , , , , , ,

jeudi, mars 10th, 2011 GNU - Linux, Paranoïa, Reseau, Technologie

4 Commentaires to Installation DRBD sur Centos 5.5 ou redhat

  • tresronours dit :

    Note en cas de coupure lors de l’utilisation de 2 primary :
    Quand vous perdez la connexion, vous vous retrouvez en situation d’avoir 2 machines « maitres », qui, par défaut ne peuvent determiner laquelle contient la bonne version.

    Vous verrez donc apparaître dans les logs :
    « split-brain detected but unresolved »

    Dans ce cas c’est à vous de décider lequel des noeuds est le maitre avec les données à jour.

    Sur l’esclave (celui qui va perdre ses changement et recevoir les données du maître à jour), vous devez alors définir sont « status » comme secondaire (resource = la ressource définie dans votre config) :
    drbdadm secondary resource

    On défini de manière explicite que l’on accepte de perdre les modification de ce noeud (le secondaire) :
    drbdadm — –discard-my-data connect resource
    (on ne peut pas être plus explicite!)

    Puis sur le noeud principal, on relance la connexion :
    1 : je m’assure qu’il est bien primary :
    drbdadm primary resource
    2 : Je lance la connexion :
    drbdadm connect resource

    Et voilà, le tout va se resynchroniser remettant à jour le noeud secondaire depuis le noeud principal !
    Attention donc à ne pas se tromper de machine ;)

    Une fois que les données son re-synchronisées (on voit ça dans cat /proc/drbd qui doit être uptodate/uptodate), on peut repasser le secondaire en primaire, si l’usage le nécessite (système de fichier à accès concurrentiels par exemple).

    Plus d’informations sur ce cas ici : http://www.drbd.org/users-guide/s-resolve-split-brain.html

  • […] faire suite à la mise en place de DRBD dans mon post précédent (http://blog.inforeseau.com/2011/03/installation-drbd-sur-centos-5-5-ou-redhat), nous allons voir la mise en place de GFS, un système de fichier supportant les accès […]

  • yousra dit :

    j aimerai savoir si ses etapes sont valables aussi pr Redhat ,on fait g un projet loadbalancing mais sans utiliser le cluster

  • sara dit :

    bonjour
    je voudre configurer un serveur cluster pour assurer le
    fonctionnement sans interruption d’un serveur dhcp entre machine .
    je ne sais par ou commence.

  • Ajouter un commentaire

    Not f'd — you won't find me on Facebook
    mars 2011
    L M M J V S D
     123456
    78910111213
    14151617181920
    21222324252627
    28293031  
     

     
    Suivez moi sur twitter - follow me on twitter
     
    Follow on LinkedIn
    [FSF Associate Member]
     
    Free Software, Free Society
    VIRTUALISATION :
    Compacter une image virtualbox VDI
    Bon petit tutoriel esxi
    Marche d'appliances vmware
    Installer ESXi sur un disque IDE
    Installer ESXi 3.5 sur un disque USB
    Installer proxmox avec DRBD et migration / réplication à chaud
    Installer OSSEC avec VMware
    Information sur le VDI
    SECURITE - FIREWALL :
    Ouvrir des ports dynamiquement iptables - knockd
    Autre tres bon tuto knockd
    Docs Arp poisoning - Anglais
    Metasploit test de pénétration
    Zone H - sites piratés en temps réel
    Blog invisible things
    Tips protection sécurité wordpress
    Pfsense - distribution firewall opensource - adsl internet failover
    Iproute 2 mini how to - linux advanced routing
    ClearOS - la passerelle sécuritaire lan - wan
    HAUTE DISPONIBILITE :
    CDN - Accélération de la distribution de données
    drbd iscsi ocfs2 dm multipath tutoriel
    Load balancing LVS
    Load balancing opensource list
    HA-Proxy :
    HAproxy - http load balancer
    Simple tutoriel HAproxy
    HAproxy - debian tutoriel
    Centos - Ip failover
    Configuratoin DM-Multipath Redhat
    VMware Doubletake - continuité
    Quelques liens sur la réplication MySQL : Manuel MySQL, chapitre sur la réplication
    Manuel MySQL, Tutoriel clair sur la mise en place
    Autre tuto sur la mise en place de la réplication MySQL
    Références pour optimisation du serveur MySQL
    Utilisation de EXPLAIN mysql pour optimiser vos bases
    optimiser vos bases - requetes et index
    STOCKAGE RESEAU :
    Un outil de clonage disque en reseau
    Internet NAS 250Go 250 accès VPN
    Server ISCSI avec Ubuntu tuto
    ISCSI centos redhat tutoriel
    Gérer et étendre un LVM
    Créer sa piratebox ! trop cool
    Deaddrops, les clés USB dans les murs, aussi cool !
    OPTIMISATION WORDPRESS :
    Télécharger Xenu
    Comment utiliser Xenu
    optimisation hébergement wordpress
    Super howto wordpress (En)
    Test de charge serveur web - Load impact
    VPN - ROUTEUR - LAN:
    Zeroshell - le mini-routeur wifi tout en un
    Retroshare, votre réseau d'échange crypté!
    Openvpn sur centos redhat
    Intégrer Linux dans active directory
    Routage inter-vlan avec Linux
    Routage avec OSPF
    Network Weathermap
    TENDANCES - WEB:
    Boutons twitter
    Analyser les tendances des recherches Google
    Protocole sitemap - robots.txt
    Creer des animations CSS3
    Code php pour interagir avec twitter
    E reputation
    Jquery
    TRUCS ET ASTUCES GNU/LINUX :
    Tuxmachines.org - Actus et tips linux
    Configurer GRUB2 et grub2 ici
    Panoet - en anglais - tips & tricks
    Readylines tips and trick pertinents
    Squid Clamav - proxy antivirus
    Apprendre Unix en 10 minutes
    13 tips sur les expressions régulières
    IE Sous linux IES
    LDAP 2.4 Quickstart guide
    Tutoriel LDAP
    Installation annuaire LDAP
    Serveur Mail Postfix - Dovecot - LDAP - MDS
    Créer un linux personnalisé en ligne - custom linux
    Super site sur linux - en
    Capistrano - déploiement automatisé
    MONITORING :
    Nagios tutoriel et doc
    Nagios plugin NRPE tuto
    Nagios plugin NRPE autre tuto
    Nagios plugin NRPE officiel
    Zabbix - fonctionnalités
    Zabbix - installation
    Guide MRTGsys - grapher la charge locale
    MRTGsys - ajouter des graphs
    MRTGsys - interpréter les données
    Shinken - Monitoring
    Thruk Monitoring webinterface
    Shinken - Tutoriel
    Shinken - Référence chez Nicolargo
    AUTRES LIENS :
    RemixJobs IT jobs
    USB Multiboot
    Reset mot de passe windows
    Java python et autres tips, intéressant !
    Forum inforeseau
    Open Clipart
    Excellent comic en ligne
    Inforeseau.fr