Configurer varnish-cache avec des virtualhosts, apache, fedora, redhat, centos

Cet article fait suite à celui ci : http://blog.inforeseau.com/2011/05/installer-varnish-depuis-sources-sur-fedora-11

Nous allons voir comment configurer varnish-cache afin d’optimiser notre serveur apache sur un seul serveur dédié (destiné à un public averti maitrisant la configuration d’apache).

Sur le post précédent nous avons compilé et installé varnish-cache, qui est donc dans un état fonctionnel, sur un port qui lui est propre. En suivant les différents documents cité en bas de ce poste comme sources, je vous propose ce petit mémo.

Comme toujours, il s’agit pour moi de garder une référence sur les travaux réalisés afin de prendre en main une technologie.

Dans cet article nous allons :
-Configurer varnish-cache avec des règles de base en VCL (varnish configuration language), pour prendre en charge nos virtualhost apache, et personnaliser les configurations selon le type de site.
-Configurer apache pour travailler avec varnish sur le même serveur, et pas forcément dans cet ordre :D

En ayant suivi mon POST précédent, votre installation de varnish-cache écoute actuellement le port 8080 (où le port que vous avez défini dans /etc/sysconfig/varnish pour la variable « VARNISH_LISTEN_PORT ». Apache écoute donc le port 80 (http), et varnish le 8080.
Pour que varnish-cache soit activé par défaut nous allons inverser ceci !
C’est varnish-cache qui va recevoir les demandes, et les gérer en fonction de règles que nous allons établir (le port que vous avez choisi doit être ouvert dans votre firewall évidemment).

On édite le fichier /etc/sysconfig/varnish et on change la variable « VARNISH_LISTER_PORT » en lui attribuant la valeur 80 (port http).
On édite le fichier /etc/varnish/default.vcl, et on va redéfinir le backend default en conséquence,votre fichier devra pour commencer contenir :
[bash]backend default {
.host = "127.0.0.1";
.port = "8080";
}[/bash]

Ceci défini que varnish-cache va par défaut demander le contenu au serveur local sur le port 8080, et tant qu’on ne redémarre pas le service, aucun soucis, les modifications n’ont pas d’impact.

On va maintenant éditer la configuration apache, afin de le faire écouter sur le port 8080.
Vous devez éditer le (ou les) fichier(s) de configuration apache qui définissent vos virtualhost (hôtes virtuels), ainsi que le port d’écoute par défaut. Généralement tout ceci est paramétré dans /etc/httpd/conf/httpd.conf.

Il faut donc remplacer le port par défaut sur l’ensemble des champs présents dans votre fichier de configuration comme suit :

FAITES UNE COPIE DE SAUVEGARDE AVANT DE MODIFIER POUR POUVOIR REVENIR EN ARRIERE AU BESOIN.

Listen 80 devient Listen 8080
NameVirtualHost *:80 devient NameVirtualHost *:8080
devient

Il faut ensuite formater les logs de apache pour que ça soit compatible avec varnish-cache, pour cela, il faudra ajouter la directive suivante (en plus de celles existantes, cherchez LogFormat dans votre configuration) :
[bash]LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" varnishcombined[/bash]

Puis, remplacer dans vos VirtualHost (hôtes virtuels), le format du log à utilisé :
CustomLog logs/xxxdomaine_access_log common devient CustomLog logs/xxxdomaine_access_log varnishcombined

A ce stade, nous sommes prêt à basculer sur le fonctionnement avec Varnish, mais avec les règles par défaut, ce qui peut conduire à des incompatibilités avec vos produits installés (wordpress, phpbb etc.). Si vous redémarrez tout de suite vos services (apache et varnish), chacun va utiliser le nouveau port et assurer le service, vous pouvez le faire, mais tant que vous n’aurez pas placé les règles, certains sites ne réagirons pas comme attendu (authentification impossible ou autre élément utilisant les cookies).

Pour adapter cela nous allons créer les règles qui vont bien en VCL, !

Je vais donner l’exemple avec quelques sites à moi, bien entendu vous adapterez à votre besoin.

L’idée pour moi et d’avoir une configuration par type de site (une pour wordpress, phpbb, sites autres etc.) et donc de conditionner la configuration selon le VirtualHost traité.

Voici donc les ajouts aux paramètres par défaut du fichier /etc/varnish/default.vcl :

[bash]backend default {
.host = "127.0.0.1";
.port = "8080";
}

#On va gérer les regles VCL selon les vhosts par hostname comme expliqué ici http://www.varnish-software.com/blog/virtual-hosts-varnish

#Traitement des requetes reçue depuis le net sur varnish-cache
sub vcl_recv {

if (! req.http.Host)
{
#soit j’affiche une erreur
#error 404 "Need a host header";
#Mais perso je prefere pouvoir appeler le serveur par son ip pour le site par défaut
#Alors je bypass et c’est le site par défaut sans cache qui sera affiché :
return (pass);

}
#On peut supprimer le www devant le host demandé si besoin, utile si on ne veut gérer que le site par défaut et unifier les logs.
#set req.http.Host = regsub(req.http.Host, "^www\.", "");
#Supprime l’eventuel :80 en fin de requete sur le host (permet de garantir que le filtre sera bien effectif.
set req.http.Host = regsub(req.http.Host, ":80$", "");

#Ici je pose une condition pour appeler le backend (serveur) et le fichier de configuration pour les sites donnés
#Pour les conditions, avec la tilde ~ je déclare que j’utilise les expression régulière regexp pour poser ma condition
if (req.http.Host ~ "blog.inforeseau.com|www.droledetroc.com")
{
#Permet de définir un backend (serveur) par site si besoin, comme chez moi tout est sur le meme serveur, ça sera identique partout !
set req.backend = default;
#appelle le fichier de règle RECV dédié à wordpress
include "/etc/varnish/wordpress_recv.vcl";
}
elsif (req.http.Host ~ "canada.maumautte.com|scrapblog.maumautte.com|www.kine-sport.com|just-cs.maumautte.com")
{
#Sinon (eslif) si ce sont les virtualhosts dans la condition ci dessus, je traite comme ceci :
set req.backend = default;
include "/etc/varnish/wordpress_recv.vcl";
#Oui c’est la meme configuration, mais j’aurai pu, par exemple renvoyer sur un autre serveur en backend, qui ne serait pas celui de cache (un autre serveur qui hebergerait le blog dont le backend peut être défini en haut du fichier)
}
elsif (req.http.Host ~ "forum.inforeseau.com|www.forum-scrapbooking.com")
{
#si c’est un forum à la base j’avais un bypass (pas de cache) car je n’avais pas les regles pour ignorer les cookies d’auth dans le cache, mais bande de veinards maintenant c’est fait, on verra le fichier plus bas.
set req.backend = default;
#return (pass);
#Application des règles dediées RECV à phpbb :
include "/etc/varnish/phpbb_recv.vcl";
}
else
{
#Par defaut, pour tous les autres sites "classiques", j’utilise le cache par défaut de varnish-cache
#Je défini quand même le serveur sur lequel le trafic est dirigé (oui toujours le même ici)
set req.backend = default;
return (lookup);
}
#ci dessous fin sub vcl_recv (fin du traitement des requêtes provenant du web)
}

##########################################################################
#On attaque la partie qui traite la lecture des pages sur le(s) serveur(s) source
sub vcl_fetch {
#Meme chose que pour le traitement amont, je ne redétaille pas, seul les fichiers associés sont différents.
if (req.http.Host ~ "blog.inforeseau.com|www.droledetroc.com")
{
include "/etc/varnish/wordpress_fetch.vcl";
}
elsif (req.http.Host ~ "canada.maumautte.com|scrapblog.maumautte.com|www.kine-sport.com")
{
include "/etc/varnish/wordpress_fetch.vcl";
}
#Attention, ne fonctionne pas avec le ou logique
#elsif (req.http.Host =="forum.inforeseau.com||www.forum-scrapbooking.com")
#On pass en regexp avec la tilde ~ comme indiqué plus haut
elsif (req.http.Host ~ "forum.inforeseau.com|www.forum-scrapbooking.com")
{
#si c’est un forum je bypass à la base, puis finalement non, j’ai tout corrigé comme plus haut.
#return (pass);
#J’ai mes propres règles (la loi c’est moi gnark gnark gnark) :
include "/etc/varnish/phpbb_fetch.vcl";
}
else
{
#Finalement on va delivrer le contenu caché (en cache hein, pas celui qui est sous la table!) pour augmenter les performances du reste des sites :
return (deliver);
}
#Fin vcl_fetch
}

########################################################################
#Puis tout ça c’est pour ajouter un peu de sécurité, masquer le fait que les pages sont traitées par varnish etc (bon avec ce post c’est sûr on se doute un peu que c’est le cas! niarf!)
sub vcl_deliver {
# Secure the header
remove resp.http.Via;
remove resp.http.X-Varnish;
remove resp.http.Server;
remove resp.http.X-Powered-By;
}[/bash]

Maintenant les 4 fichiers contenant les règles pour les sites qui sont en include (bah ouai, je ne suis pas un chien, je ne vous laisse pas en plan :) ) :

wordpress_recv.vcl (oui c’est de la récup de chez nicolargo, un grand merci à lui pour son super blog!) :
[bash] # Compatiblity with Apache log
remove req.http.X-Forwarded-For;
set req.http.X-Forwarded-For = client.ip;

# Post requests will not be cached
if (req.request == "POST") {
return (pass);
}

# Normalize encoding/compression
if (req.http.Accept-Encoding) {
if (req.http.Accept-Encoding ~ "gzip") { set req.http.Accept-Encoding = "gzip"; }
elsif (req.http.Accept-Encoding ~ "deflate") { set req.http.Accept-Encoding = "deflate"; }
else { remove req.http.Accept-Encoding; }
}

# Remove has_js and Google Analytics __* cookies.
if (req.http.cookie) {
set req.http.Cookie = regsuball(req.http.Cookie, "(^|;\s*)(__[a-z]+|has_js)=[^;]*", "");
# Remove a ";" prefix, if present.
set req.http.Cookie = regsub(req.http.Cookie, "^;\s*", "");
# Remove empty cookies.
if (req.http.Cookie ~ "^\s*$") {
unset req.http.Cookie;
}
}

# Serve the page
unset req.http.vary;
# If I am logged in to wordpress, I DO NOT WANT TO SEE cached pages
if ( req.url ~ "^/wp-(login|admin)" || req.http.Cookie ~ "wordpress_logged_in_" ) {
return (pass);
} else {
# If I’m just a regular visitor
# If the request is static
if (req.url ~ "\.(jpeg|jpg|png|gif|ico|js|css|txt|gz|zip|lzma|bz2|tgz|tbz|html|htm)$") {
# Remove the cookie and make the request static
unset req.http.cookie;
return (lookup);
}
# Try to lookup in the cache
return (lookup);
}

# Cookie ? Not cacheable by default
if (req.http.Authorization || req.http.Cookie) {
return (pass);
}
[/bash]

wordpress_fetch.vcl :
[bash] if (req.request == "POST") {
return (pass);
}
# If the request is static
if (req.url ~ "\.(jpeg|jpg|png|gif|ico|js|css|txt|gz|zip|lzma|bz2|tgz|tbz|html|htm)$") {
# Cache it, and make it last 2 hours
set beresp.ttl = 7200s;
# Make the request static by removing any cookies set by those static files
unset beresp.http.set-cookie;
# Deliver the cached object
return (deliver);
}
# If I am logged in to wordpress, I DO NOT WANT TO SEE cached pages
if (req.http.cookie ~ "wordpress_logged_in") {
return (pass);
} else {
# Cache anything for 2 minutes. When the cache expires it will be cached again and again, at the time of the request
set beresp.ttl = 120s;
return (deliver);
}
[/bash]

phpbb_recv.vcl :
[bash] # Compatiblity with Apache log
remove req.http.X-Forwarded-For;
set req.http.X-Forwarded-For = client.ip;

# Post requests will not be cached
if (req.request == "POST") {
return (pass);
}

# Normalize encoding/compression
if (req.http.Accept-Encoding) {
if (req.http.Accept-Encoding ~ "gzip") { set req.http.Accept-Encoding = "gzip"; }
elsif (req.http.Accept-Encoding ~ "deflate") { set req.http.Accept-Encoding = "deflate"; }
else { remove req.http.Accept-Encoding; }
}

# Serve the page
unset req.http.vary;
# If I am logged in to phpbb, I DO NOT WANT TO SEE cached pages
if ( req.url ~ "^/(admin|adm)" || req.http.Cookie ~ "phpbb2hirikiki" || req.http.Cookie ~ "phpbb3_5xoui" ) {
return (pass);
} else {
# If I’m just a regular visitor
# If the request is static (sauf html/htm car on utilise url rewriting donc html=php)
if (req.url ~ "\.(jpeg|jpg|png|gif|ico|js|css|txt|gz|zip|lzma|bz2|tgz|tbz)$") {
# Remove the cookie and make the request static
unset req.http.cookie;
return (lookup);
}
# Try to lookup in the cache
return (lookup);
}

# Cookie ? Not cacheable by default
if (req.http.Authorization || req.http.Cookie) {
return (pass);
}
[/bash]
Note : oui ça ressemble à celui de wordpress, notez juste les noms des cookies qui doivent correspondre aux noms de cookies que vous avez choisi dans votre config phpbb (on peut aussi identifier ça dans les préférences firefox, quand vous êtes sur votre site, en affichant les cookies dans l’onglet « vie privée »), et les pages html qui ne sont pas cachée car j’utilise de l’url-rewriting,et donc les pages html ne sont pas des pages statiques :D .

phpbb_fetch.vcl :
[bash]# Do not cache POST requests
if (req.request == "POST") {
return (pass);
}
# If the request is static (sauf html/htm utilisé en url_rewriting et donc dynamique)
if (req.url ~ "\.(jpeg|jpg|png|gif|ico|js|css|txt|gz|zip|lzma|bz2|tgz|tbz)$") {
# Cache it, and make it last 2 hours
set beresp.ttl = 7200s;
# Make the request static by removing any cookies set by those static files
unset beresp.http.set-cookie;
# Deliver the cached object
return (deliver);
}
# If I am logged in to phpbb, I DO NOT WANT TO SEE cached pages
if (req.http.Cookie ~ "phpbb2ronours" || req.http.Cookie ~ "phpbb3_5xr75") {
return (pass);
} else {
# Cache anything for 2 minutes. When the cache expires it will be cached again and again, at the time of the request
set beresp.ttl = 120s;
return (deliver);
}
[/bash]

Voilà pour les fichiers contenant les règles pour chacun des sites.
Pour en apprendre plus en VCL vous trouverez plein d’exemples ici :
http://www.varnish-cache.org/trac/wiki/VCLExamples

Maintenant on est prêts à la mise à feu :
[bash]/etc/rc.d/init.d/httpd restart
/etc/rc.d/init.d/varnish restart[/bash]

Ayé, on est à fond ! :D, c’est maintenant Varnish qui gère les requêtes HTTP sur le port 80, puis qui, en fonction du site demandé, va réaliser les traitements adaptés.

Comme dirait Nicolargo, les commandes utiles :
varnishlog : affiche les log de varnish
varnishstat : affiche les stats depuis le dernier lancement de varnish et les tâches s’évanouissent! (arf désolé j’ai pas pu résister)
Explication sur les valeurs de varnishstat : http://kristianlyng.wordpress.com/2009/12/08/varnishstat-for-dummies/
varnishhist : Affiche un historique des requêtes faites sur votre machine.
varnishadm : pour administrer votre varnish en local.

Avec tout ça vous devriez pouvoir personnaliser la configuration à souhait, avec je l’espère une meilleure compréhension du système.

Ah oui j’oubliais! Varnish vous permet aussi de faire du load balancing / failover ! Vous pouvez en lire plus ici :
http://www.varnish-cache.org/trac/wiki/LoadBalancing
Bien sûr ça implique d’avoir plusieurs machines (au moins un frontal et 2 serveurs de contenu – backend)

Note : Si vous utilisiez des outils de statistiques en php, ceux-ci ne fonctionneront plus correctement car les pages distribuées par le cache ne sont donc plus traitées en php, c’est le but !

La doc en détail : http://www.varnish-cache.org/docs/2.1/

Sources :
http://blog.nicolargo.com/2010/10/booster-votre-blog-wordpress-avec-varnish.html
http://www.varnish-cache.org/trac/wiki
http://www.varnish-cache.org/trac/wiki/VarnishAndWordpress
http://www.varnish-cache.org/docs/2.1/tutorial/vcl.html
http://blog.inforeseau.com/2011/05/installer-varnish-depuis-sources-sur-fedora-11
http://www.varnish-software.com/blog/virtual-hosts-varnish

Loading

Tags: , , , , , , , ,

vendredi, mai 6th, 2011 GNU - Linux, Innovation, Reseau, Technologie

9 Commentaires to Configurer varnish-cache avec des virtualhosts, apache, fedora, redhat, centos

  • tresronours dit :

    Un autre exemple de configuration avec Varnish-cache :
    http://www.mediawiki.org/wiki/Manual:Varnish_caching

  • tresronours dit :

    Comprendre et paramétrer les paramètres de varnish-cache pour de meilleures performances :
    http://www.varnish-cache.org/trac/wiki/Performance

  • tresronours dit :

    Modifier les entêtes HTTP et modifier le type de serveur affiché pour tromper les attaquants avec varnish-cache :
    http://www.go2linux.org/linux/2011/05/change-web-server-identification-varnish-1066.html

    En gros on ajouter dans le vcl_fetch general :
    [code]unset beresp.http.Server;
    set beresp.http.Server = "Lighthttpd Server";[/code]

    Évidemment ceci ne vaut que si vous renvoyez la version de votre serveur, ce que vous aurez sûrement désactivé auparavant dans votre httpd.conf si vous utilisez apache en mettant les valeurs :
    [code]ServerTokens Prod
    ServerSignature Off[/code]

    Mais c’est toujours didactique :D

  • Majeri dit :

    Merci pour ce tuto et les autre liens pour comprendre la mecanique des cache http:

    Je rencontre un soucis pour mettre en place varnish avec la boutique prestashop.

    Le cache est affiché constament sur la boutique du coup on ne voit pas les modification faite.

    le problème est présent dans le back office /front

    J’ai cherché un peu comment faire tout ca mais ne maitrisant pas du tout le language vcl, ca vas être dur. Apparament il y a un histoire de purge a faire mais je ne sais pas comment faire cette modification.

    cheers

  • Sylvain dit :

    Au lieu de changer le format des logs, je préfère utiliser le mod_rpaf pour apache2 qui se charge de récupérer les bonnes IP.

    Cordialement,

  • Laisser un commentaire à Sylvain

    Not f'd — you won't find me on Facebook
    mai 2011
    L M M J V S D
     1
    2345678
    9101112131415
    16171819202122
    23242526272829
    3031  
     

     
    Suivez moi sur twitter - follow me on twitter
     
    Follow on LinkedIn
    [FSF Associate Member]
     
    Free Software, Free Society
    VIRTUALISATION :
    Compacter une image virtualbox VDI
    Bon petit tutoriel esxi
    Marche d'appliances vmware
    Installer ESXi sur un disque IDE
    Installer ESXi 3.5 sur un disque USB
    Installer proxmox avec DRBD et migration / réplication à chaud
    Installer OSSEC avec VMware
    Information sur le VDI
    SECURITE - FIREWALL :
    Ouvrir des ports dynamiquement iptables - knockd
    Autre tres bon tuto knockd
    Docs Arp poisoning - Anglais
    Metasploit test de pénétration
    Zone H - sites piratés en temps réel
    Blog invisible things
    Tips protection sécurité wordpress
    Pfsense - distribution firewall opensource - adsl internet failover
    Iproute 2 mini how to - linux advanced routing
    ClearOS - la passerelle sécuritaire lan - wan
    HAUTE DISPONIBILITE :
    CDN - Accélération de la distribution de données
    drbd iscsi ocfs2 dm multipath tutoriel
    Load balancing LVS
    Load balancing opensource list
    HA-Proxy :
    HAproxy - http load balancer
    Simple tutoriel HAproxy
    HAproxy - debian tutoriel
    Centos - Ip failover
    Configuratoin DM-Multipath Redhat
    VMware Doubletake - continuité
    Quelques liens sur la réplication MySQL : Manuel MySQL, chapitre sur la réplication
    Manuel MySQL, Tutoriel clair sur la mise en place
    Autre tuto sur la mise en place de la réplication MySQL
    Références pour optimisation du serveur MySQL
    Utilisation de EXPLAIN mysql pour optimiser vos bases
    optimiser vos bases - requetes et index
    STOCKAGE RESEAU :
    Un outil de clonage disque en reseau
    Internet NAS 250Go 250 accès VPN
    Server ISCSI avec Ubuntu tuto
    ISCSI centos redhat tutoriel
    Gérer et étendre un LVM
    Créer sa piratebox ! trop cool
    Deaddrops, les clés USB dans les murs, aussi cool !
    OPTIMISATION WORDPRESS :
    Télécharger Xenu
    Comment utiliser Xenu
    optimisation hébergement wordpress
    Super howto wordpress (En)
    Test de charge serveur web - Load impact
    VPN - ROUTEUR - LAN:
    Zeroshell - le mini-routeur wifi tout en un
    Retroshare, votre réseau d'échange crypté!
    Openvpn sur centos redhat
    Intégrer Linux dans active directory
    Routage inter-vlan avec Linux
    Routage avec OSPF
    Network Weathermap
    TENDANCES - WEB:
    Boutons twitter
    Analyser les tendances des recherches Google
    Protocole sitemap - robots.txt
    Creer des animations CSS3
    Code php pour interagir avec twitter
    E reputation
    Jquery
    TRUCS ET ASTUCES GNU/LINUX :
    Tuxmachines.org - Actus et tips linux
    Configurer GRUB2 et grub2 ici
    Panoet - en anglais - tips & tricks
    Readylines tips and trick pertinents
    Squid Clamav - proxy antivirus
    Apprendre Unix en 10 minutes
    13 tips sur les expressions régulières
    IE Sous linux IES
    LDAP 2.4 Quickstart guide
    Tutoriel LDAP
    Installation annuaire LDAP
    Serveur Mail Postfix - Dovecot - LDAP - MDS
    Créer un linux personnalisé en ligne - custom linux
    Super site sur linux - en
    Capistrano - déploiement automatisé
    MONITORING :
    Nagios tutoriel et doc
    Nagios plugin NRPE tuto
    Nagios plugin NRPE autre tuto
    Nagios plugin NRPE officiel
    Zabbix - fonctionnalités
    Zabbix - installation
    Guide MRTGsys - grapher la charge locale
    MRTGsys - ajouter des graphs
    MRTGsys - interpréter les données
    Shinken - Monitoring
    Thruk Monitoring webinterface
    Shinken - Tutoriel
    Shinken - Référence chez Nicolargo
    AUTRES LIENS :
    RemixJobs IT jobs
    USB Multiboot
    Reset mot de passe windows
    Java python et autres tips, intéressant !
    Forum inforeseau
    Open Clipart
    Excellent comic en ligne
    Inforeseau.fr