Replication mysql – Configuration maitre-esclave

Schema replication maître esclave mysqlConfiguration de la réplication avec mysql, dans un modèle maître esclave.

Voilà un petit post qui va expliquer en suivant en gros la documentation de mysql (http://dev.mysql.com/doc/refman/5.0/fr/replication-howto.html), comment mettre en place la réplication, de manière pragmatique et fonctionnelle.

Comme toujours, avant toute opération, assurez vous d’avoir une copie de sauvegarde de l’ensemble des éléments modifiés avant d’appliquer quoi que ça soit, afin de pouvoir revenir en arrière en cas de soucis (fichiers de configuration, données etc.).

J’ai pour cette opération un serveur sous Fedora 8 (qui date mais qui fait le job) équipé de mysql-server 5.0.45 en production et standalone (qui travaille tout seul comme un grand) jusqu’ici; et, un serveur sous Fedora 13 (utilisé pour du stockage uniquement jusqu’ici) équipé de mysql-server 5.1.56 fraichement installé avec un petit :

yum install mysql-server
chkconfig --level 345 mysqld on

L’idée étant de mettre en place la réplication du premier qui deviendra « master » (maître), sur le second, qui deviendra « slave » (esclave). A mon sens l’utilité de la réplication avec MySQL est principalement valable pour 2 points :
– Avoir une copie des données, lisible en production
– Répartir la charge sur plusieurs serveurs (un serveur exclusivement pour les requêtes en écriture – le maitre, un autre dédié aux requêtes en lecture – le ou les esclave(s)).

Attention cependant, la réplication MySQL ne dispense pas de mettre en place une stratégie de sauvegarde ! Car, par exemple, un effacement accidentel de données sur le maître entraîne la modification quasi immédiate sur les machines répliquées ! Dans une telle situation, seule une sauvegarde « traditionnelle » (façon mysql dump) vous permettra de récupérer vos données.

Un article évoquant plusieurs configurations et usages de la réplication MySQL est disponible sur cette page http://bertrand.letous.fr/replication-mysql/ qui évoque notamment la réplication RING (multi-master replication) permettant la réplication combinée à l’écriture sur les esclaves propageant la modification en chaine et ainsi permettant d’ajouter autant de serveurs que nécessaire pour absorber une montée en charge. Une documentation détaillée est disponible ici : http://onlamp.com/pub/a/onlamp/2006/04/20/advanced-mysql-replication.html

Revenons donc à nos moutons, avec pour objectif, basculer l’installation actuelle d’un simple serveur MySQL tout seul, en maître avec l’ajout d’un esclave répliqué.

=> Serveur maitre :

Sur le serveur maître, nous allons créer un compte utilisateur dédié à la réplication. Soit en passant par une interface d’administration style Webmin, soit en passant par la ligne de commande mysql (requête).
Je vais donc créer un utilisateur « replication » sur mon master, avec un mot de passe, et autoriser pour le host « ip_du_slave » (sur vpn pour mon cas) avec pour permission « Slave replication ».

Ce qui donne donc en commande SQL sur le maître :

mysql> GRANT REPLICATION SLAVE ON *.* TO replication@'ip_du_slave' IDENTIFIED BY '<mot de passe>';

Si vous n’avez jamais utilisé la réplication, il y a des chances que votre serveur mysql n’ait pas de log binaire activé !
Afin de s’assurer de ceci, vous devez éditer votre fichier my.cnf (généralement dans /etc/my.cnf) et vous assurer qu’il contient dans la section « mysqld » les lignes suivantes :

log-bin
server-id=1

La valeur de serveur-id doit être un entier positif entre 1 et 2^32 − 1, mais doit être unique pour chaque serveur (maitre ou esclave).
Si les valeurs ne sont pas présentes, ajoutez les, puis relancez votre serveur mysql.

On va vérifier que la modification est bien active en se connectant en local en root au serveur mysql :

mysql -u root -p

Puis on contrôle qu’il y ait bien un log binaire (après avoir saisi votre mot de passe root mysql) :

show master status;
+---------------------+------------+---------------------+--------------------------+
| File                | Position   | Binlog_Do_DB        | Binlog_Ignore_DB         |
+---------------------+------------+---------------------+--------------------------+
| mysql-bin.000001    | 729        |                     |                          |
+---------------------+------------+---------------------+--------------------------+
1 row in set (0.00 sec)

Nous avons maintenant un serveur MySQL avec un utilisateur qui détient les privilèges de réplication, et, un fichier de log binaire qui va contenir la chaine des transactions/modifications réalisées sur les bases.

Afin de lancer la réplication, nous allons devoir (1) verrouiller la base (READ LOCK), (2) noter le « status » du fichier binaire afin d’indiquer à l’esclave d’où il repart quand on le lancera (comme vu à l’instant), (3) arrêter mysql sans déverrouiller et faire un backup afin de pouvoir transférer les données en l’état sur l’esclave, (4) et relancer mysql et déverrouiller (unlock tables), DANS CET ORDRE PRÉCIS.

L’impact pour votre système actuel va être un blocage des écritures pendant que vous notez le « status » des transactions et réalisez le backup.

En avant donc :

(1)
On se connecte au serveur (maitre) en local et on bloque les transactions :

mysql -u root -p
mysql> FLUSH TABLES WITH READ LOCK;

ok, les transactions sont maintenant bloquées.

(2)
On affiche le « status » et on le copie pour pouvoir le lire plus tard (faites la copie de VOS infos afin d’en disposer plus loin) :

show master status;
+---------------------+------------+---------------------+--------------------------+
| File                | Position   | Binlog_Do_DB        | Binlog_Ignore_DB         |
+---------------------+------------+---------------------+--------------------------+
| mysql-bin.000001    | 729        |                     |                          |
+---------------------+------------+---------------------+--------------------------+
1 row in set (0.00 sec)

(3)
On arrête mysql bloqué et on sauvegarde les fichiers de données (dans /var/lib/mysql chez moi):

mysqladmin -uroot -p shutdown
cd /var/lib
tar -cvzf mysql_full.tgz mysql

Le backup est fait avec les données non modifiées depuis que l’on a noté le master « status ».

(4)
On va maintenant relancer mysql et débloquer les transactions :

/etc/rc.d/init.d/mysqld start
mysql -u root -p

Puis on débloque :

mysql> UNLOCK TABLES;

Nous avons maintenant nos bases dans un fichier de sauvegarde et l’état des transactions à ce moment là. C’est fini pour le serveur maître MySQL qui est opérationnel comme avant.

Vous devriez voir des informations relatives à l’activation de log-bin dans les logs de mysqld (ici /var/log/mysqld.log).

Note : Il faut autoriser l’accès au port 3306 depuis l’esclave dans votre firewall si vous en avez un actif sur le maître, sinon l’esclave ne pourra pas communiquer avec le maître et la réplication ne pourra s’effectuer.

################################################################
=> Serveur Esclave :

On arrête le serveur mysql (vierge jusqu’ici car tout fraîchement installé).

/etc/rc.d/init.d/mysqld stop

Il faut configurer le serveur mysql en éditant le fichier /etc/my.cnf comme pour le maître en ajoutant le server-id dans la configuration (c’est le numéro unique du serveur, qui doit être différent du serveur maître) et les informations permettant la synchronisation :

[mysqld]
server-id=2
master-host = ip_du_master
master-user = utilisateur_replication
master-password = mot_de_passe_replication
master-port = 3306

On va ensuite replacer les données sur l’esclave (attention aux droits sur les fichiers, généralement tout appartient à l’utilisateur « mysql »), ceci en copiant l’archive mysql_full.tgz créée sur le serveur maître, dans le serveur esclave.
Je me positionne dans /var/lib (qui contient le dossier mysql également), qui appartient à l’utilisateur mysql et je décompresse l’archive :

tar xvzf mysql_full.tgz

Ceci va sauvagement écraser les fichiers en place au profit de la copie conforme du maître.

On peut maintenant relancer le serveur mysql :

/etc/rc.d/init.d/mysqld start

Puis on active la synchronisation (qui va également rattraper les modifications depuis la reprise de l’activité du maître) :
Connection en root à mysql en local sur l’esclave :

mysql -u root -p

On arrête le (service) slave :

mysql> STOP SLAVE;

On applique les modifications :

mysql> CHANGE MASTER TO
    ->     MASTER_HOST='<master host name ou ip>',
    ->     MASTER_USER='<replication user name>',
    ->     MASTER_PASSWORD='<replication password>',
    ->     MASTER_LOG_FILE='<recorded log file name>',
    ->     MASTER_LOG_POS=<recorded log offset>;

Note : ce sont les informations définies plus haut, saisie entre apostrophes, sauf pour la dernière valeur numérique saisie directement (et sans les < >).

On lance enfin le processus esclave qui démarre effectivement la synchronisation :

mysql> START SLAVE;

Dans les log de /var/log/mysqld.log vous devriez voir quelque-chose du genre :
« Slave SQL thread initialized, starting replication in log ‘mysql-bin.000001’ at position xxx… etc. »
« Slave I/O thread: connected to master ‘replication@ip_du_maitre:3306’,replication started in log ‘mysql-bin.xxx…etc. »

Maintenant consultez les données dans les tables du serveur esclave, toutes les modifications apportées au maître doivent être automatiquement appliquées à l’esclave.

Vous pouvez aussi consulter l’état sur l’esclave par exemple en vous connectant au serveur :

mysql -u root -p

Puis en tapant la commande suivante :

mysql> SHOW SLAVE STATUS\G;

et celle ci pour voir l’etat des processus :

mysql> SHOW PROCESSLIST;

Maintenant, si vous arrêtez le serveur mysql esclave, et que vous le relancez, il reprendra la synchronisation là où il s’est arrêté ! 😀 cool.

################################################################
=> En cas de plantage (perte des données sur une des machines) :
– Si le maitre plante :
On verrouille l’esclave (FLUSH TABLES WITH READ LOCK;), on « dump » (copie) les données de l’esclave sur le maître, et on relance la synchronisation après avoir relancé le maître.

-Si l’esclave plante :
On recommence la mise en place à partir des étapes 1,2,3,4 dans la section « maître » de ce post, sur le maître, comme ci on réalisait à nouveau cette mise en place.

=> Vous pouvez ajouter autant d’esclaves que vous le voulez, pour répliquer autant de fois que nécessaire l’infrastructure (et donc augmenter la puissance de l’ensemble en répartissant la charge sur plusieurs serveurs).

Autres ressources pertinentes :
http://www.system-linux.eu/index.php?post/2009/09/10/R%C3%A9plication-Mysql
http://km.azerttyu.net/Replication-Mysql-ou-comment.html
http://www.howtoforge.com/mysql_database_replication

Tags: , , , , , , , ,

mercredi, mai 4th, 2011 GNU - Linux, Reseau, Technologie

1 Commentaire to Replication mysql – Configuration maitre-esclave

  • talel dit :

    Bonjour ,
    j ‘utilise une réplication bidirectionnel , j’ai une question c’est quoi l’impacte d’arrêter la réplication pour une opération de maintenance ?

    d’avance merci

  • Ajouter un commentaire


     
    mai 2011
    L M M J V S D
    « Avr   Oct »
     1
    2345678
    9101112131415
    16171819202122
    23242526272829
    3031  
     

     
    Suivez moi sur twitter - follow me on twitter
    [FSF Associate Member]
     
    Free Software, Free Society
    VIRTUALISATION :
    Compacter une image virtualbox VDI
    Bon petit tutoriel esxi
    Marche d'appliances vmware
    Installer ESXi sur un disque IDE
    Installer ESXi 3.5 sur un disque USB
    Installer proxmox avec DRBD et migration / réplication à chaud
    Installer OSSEC avec VMware
    Information sur le VDI
    SECURITE - FIREWALL :
    Ouvrir des ports dynamiquement iptables - knockd
    Autre tres bon tuto knockd
    Docs Arp poisoning - Anglais
    Metasploit test de pénétration
    Zone H - sites piratés en temps réel
    Blog invisible things
    Tips protection sécurité wordpress
    Pfsense - distribution firewall opensource - adsl internet failover
    Iproute 2 mini how to - linux advanced routing
    ClearOS - la passerelle sécuritaire lan - wan
    HAUTE DISPONIBILITE :
    CDN - Accélération de la distribution de données
    drbd iscsi ocfs2 dm multipath tutoriel
    Load balancing LVS
    Load balancing opensource list
    HA-Proxy :
    HAproxy - http load balancer
    Simple tutoriel HAproxy
    HAproxy - debian tutoriel
    Centos - Ip failover
    Configuratoin DM-Multipath Redhat
    VMware Doubletake - continuité
    Quelques liens sur la réplication MySQL : Manuel MySQL, chapitre sur la réplication
    Manuel MySQL, Tutoriel clair sur la mise en place
    Autre tuto sur la mise en place de la réplication MySQL
    Références pour optimisation du serveur MySQL
    Utilisation de EXPLAIN mysql pour optimiser vos bases
    optimiser vos bases - requetes et index
    STOCKAGE RESEAU :
    Un outil de clonage disque en reseau
    Internet NAS 250Go 250 accès VPN
    Server ISCSI avec Ubuntu tuto
    ISCSI centos redhat tutoriel
    Gérer et étendre un LVM
    Créer sa piratebox ! trop cool
    Deaddrops, les clés USB dans les murs, aussi cool !
    OPTIMISATION WORDPRESS :
    Télécharger Xenu
    Comment utiliser Xenu
    optimisation hébergement wordpress
    Super howto wordpress (En)
    Test de charge serveur web - Load impact
    VPN - ROUTEUR - LAN:
    Zeroshell - le mini-routeur wifi tout en un
    Retroshare, votre réseau d'échange crypté!
    Openvpn sur centos redhat
    Intégrer Linux dans active directory
    Routage inter-vlan avec Linux
    Routage avec OSPF
    Network Weathermap
    TENDANCES - WEB:
    Boutons twitter
    Analyser les tendances des recherches Google
    Protocole sitemap - robots.txt
    Creer des animations CSS3
    Code php pour interagir avec twitter
    E reputation
    Jquery
    TRUCS ET ASTUCES GNU/LINUX :
    Tuxmachines.org - Actus et tips linux
    Configurer GRUB2 et grub2 ici
    Panoet - en anglais - tips & tricks
    Readylines tips and trick pertinents
    Squid Clamav - proxy antivirus
    Apprendre Unix en 10 minutes
    13 tips sur les expressions régulières
    IE Sous linux IES
    LDAP 2.4 Quickstart guide
    Tutoriel LDAP
    Installation annuaire LDAP
    Serveur Mail Postfix - Dovecot - LDAP - MDS
    Créer un linux personnalisé en ligne - custom linux
    Super site sur linux - en
    Capistrano - déploiement automatisé
    MONITORING :
    Nagios tutoriel et doc
    Nagios plugin NRPE tuto
    Nagios plugin NRPE autre tuto
    Nagios plugin NRPE officiel
    Zabbix - fonctionnalités
    Zabbix - installation
    Guide MRTGsys - grapher la charge locale
    MRTGsys - ajouter des graphs
    MRTGsys - interpréter les données
    Shinken - Monitoring
    Thruk Monitoring webinterface
    Shinken - Tutoriel
    Shinken - Référence chez Nicolargo
    AUTRES LIENS :
    RemixJobs IT jobs
    USB Multiboot
    Reset mot de passe windows
    Java python et autres tips, intéressant !
    Forum inforeseau
    Open Clipart
    Excellent comic en ligne
    Inforeseau.fr
     
    Contrat Creative Commons
    This création is licensed under a Creative Commons Paternité - Pas d'Utilisation Commerciale - Partage des Conditions Initiales à l'Identique 2.0 France License.