Reseau

Utiliser Xenu sous ubuntu linux pour vérifier les liens d’un site

Capture Xenu en fonction
L’outil Xenu est un petit programme très efficace pour vérifier l’intégrité des liens de votre site.

vous pouvez télécharger le logiciel à l’adresse suivante :
http://home.snafu.de/tilman/xenulink.html

Une fois téléchargé, vous obtenez un fichier xenu.zip qu’il convient de décompresser (sous GNU/Linux Ubuntu avec Gnome dans le cas présent), en cliquant avec le bouton droit de la souris, puis cliquer sur « extraire ici ».

Vous obtiendrez alors un fichier « Setup.exe ». Pour l’exécuter nous aurons besoin d’avoir « Wine » installé, si ça n’est pas le cas, ouvrez un terminal et tapez :
[bash]sudo apt-get install wine[/bash]
(confirmez l’installation).

Une fois « Wine » installé, nous devons autoriser le fichier « Setup.exe » à être exécuté, donc un clic droit sur le fichier puis, « propriétés ». Dans l’onglet « Permissions », cochez la case « Autoriser l’exécution du fichier comme un programme ».

Fenetre propriété de Xenu setup.exe

On clique maintenant avec le bouton droit de la souris sur « Setup.exe », et on choisit « Ouvrir avec Wine – Chargeur de programmes windows ». Effectuer l’installation avec les options par défaut (Next => I Agree => Next => Next => Install => Next => on decoche les 2 cases puis, Finish).

Vous retrouvez l’accès au programme installé via le menu application => Wine => Programmes => Xenu’s Link sleuth => Xenu.

On lance donc Xenu pour la première fois, une fois lancé, je vous recommande de modifier les préférences par défaut pour ne pas trop charger votre serveur web lors de l’analyse. Par le menu « Options », puis « Préférences », on arrive dans l’onglet « Basic » de Xenu. L’option « Parallel Threads » est par défaut sur 30, je vous recommande de baisser cette option à 5, ou 7 maximum.

Modifier les options de Xenu

En effet, ceci représente le nombre de requêtes simultanées que vous allez effectuer sur votre serveur ! Trop de requêtes simultanées, sur un serveur un peu chargé ou en production risque de rendre l’accès aux sites hébergés dessus ralenti, voir impossible. Autant éviter de parasiter votre propre installation.

Attention également à ceux qui auraient la super idée d’infliger ce traitement aux sites concurrents, sachez que des mécanismes de sécurité peuvent bloquer votre IP dans un tel cas, car trop de requêtes simultanées peut être vues comme une attaque informatique. Dans le meilleur des cas vous risquez de ne plus pouvoir joindre le serveur pour un certain temps, dans le pire des cas, une plainte pourrait être déposée à votre encontre (via votre IP) et ça pourrait finir en justice.
N’utilisez donc ce logiciel que pour vos propres analyses, ou alors avec un nombre de « thread » (processus) réduit au minimum pour une analyse concurrentielle.

Vous êtes maintenant prêts à lancer une analyse, pour cela, il suffit de passer par le menu « File » puis « Check URL », ou d’utiliser le raccourcis CTRL+N.
Dans le premier champs, saisissez l’adresse de votre site (http://www.votresite.com), et décochez « Check external links ». Par défaut il n’est pas nécessaire d’analyser les liens extérieurs, vous pourrez refaire l’analyse avec cette option une fois que votre site est entièrement optimisé.

Cliquez enfin sur « OK », et l’analyse démarre. Plus votre site comporte de liens, plus l’analyse prendra du temps.

L’avancement du processus est indiqué en bas à droite, une fois l’analyse terminée, Xenu vous propose de vous créer un rapport sitemap, il s’agit d’un plan du site (sitemap) issu de la recherche.

La création d’un sitemap via un outil comme Xenu ne présente que peu d’intérêt, car le travail que fait le programme (suivre les liens) est réalisé de la même façon par les robots d’indexation des moteurs de recherche. L’utilisation d’un sitemap n’est pertinent que si celui ci est alimenté dynamiquement, au fur et à mesure de l’ajout de contenu sur le site.

Vous pouvez maintenant consulter la liste de l’ensemble des URL présentes sur votre site. Tout ce qui apparaît en rouge est un problème que vous devriez corriger.

De plus, vous pouvez également vérifier que l’ensemble de vos liens possèdent bien une balise « title », ainsi qu’une description.

Voilà, un bon outil, utilisable sous GNU/Linux simplement grâce à Wine.

Loading

Tags: , , , , , , , , , , ,

samedi, novembre 6th, 2010 GNU - Linux, Reseau, Technologie 3 Comments

cmsms – installer un keyword cloud, ou nuage de mots clés – tagcloud

logo cmsms

Habitué à wordpress j’avoue trouver très sympathique et efficace l’utilisation du nuage de mots clé dans les widgets.

Lors d’une formation au référencement réalisée ces derniers jours, j’ai été confronté à la problématique de pouvoir utiliser un nuage de mots clés sur cmsms (ou CMS M&M’s parceque c’est plus simple à dire :P ).

Après recherches, il existe bien un bout de code qui permet de réaliser ceci, mais, l’installation et l’utilisation n’était pas évidente, d’ou ce post !

On trouve le plugin tagcloud ici : http://dev.cmsmadesimple.org/projects/tagcloud
Pour le télécharger, il faut cliquer sur « Release History », puis télécharger la dernière version en haut de la liste.

Vous récupérez alors un fichier nommé « function.tagcloud.php » qu’il va falloir envoyer dans le dossier « plugins » de votre installation CMSMS, idéalement avec votre client ftp/ftps favoris.

Une fois transféré, dans l’interface d’administration, il suffit d’aller dans le menu « Extensions » puis « Balises ». Dans la liste vous devriez trouver la nouvelle balise (utilisable avec un « smarties », j’ai entendu ça, qui consiste à mettre l’appel à la fonction entre accolades) prise en charge marquée « tagcloud ».

Pour une note sur l’utilisation, dans cette liste, vous pouvez cliquer sur « Aide », et avoir un aperçu de la grande liste d’options et de fonctions disponibles avec ce plugin.

En gros, il suffit de rajouter dans une de vos pages, ou un de vos articles, le tag suivant :
[php]{tagcloud}[/php]

Vous pouvez ensuite personnaliser l’affichage de plusieurs façons définies dans l’aide du module. Voici un exemple sur une installation de CMSMS par défaut :
nuage de mots clés cmsms

Pour générer ceci, j’ai forcé les tags que je voulais, et passé quelques options, voici mon tag :
[php]{tagcloud wishlist="license,page,test,link,theme,subject,cms,simple,documentation,general,help,cms,content" link_title="les %COUNTS% meilleurs %WORD%" clean_urls=1 returnid=29}[/php]

Explication des options :

wishlist : C’est la liste des mots forcés manuellement que je veux voir dans mon nuage de mots clés. Pour apparaître ces mots doivent êtres présents au moins une fois dans le contenu du site.

link_title : Permet de définir le titre du lien associé au mot clé dans le nuage (ajoute la balise title au a href, c’est bon pour améliorer le référencement de la page cible). On notera l’utilisation de la variable « COUNTS » entre les modulos qui permet d’afficher le nombre de fois ou le mot clé est trouvé dans le site, et la variable « WORD » également entre modulos (le signe pourcent) qui permet de reprendre le mot encadré dans le nuage. Cette fonction est très pertinente pour personnaliser simplement l’ensemble des liens générés par le nuage de mots clé.

clean_url : Avec la valeur à 1, elle permet de générer des URL rewritées, bonnes pour le référencement, dans le nuage de mot clé. Attention pour utiliser cette option, vous devez ajouter la ligne suivante dans votre fichier .htaccess :
[bash]RewriteRule ^tag/(.*)\/([0-9]*)$ index.php?&mact=Search,m99,dosearch,0&m99returnid=$2&m99searchinput=$1 [NC,L][/bash]
ou bien, si votre installation de CMSMS est dans un sous dossier d’un domaine :
[bash]RewriteRule ^tag/(.*)\/([0-9]*)$ /sousdossier/index.php?&mact=Search,m99,dosearch,0&m99returnid=$2&m99searchinput=$1 [NC,L][/bash]

returnid : Permet de définir la page utilisée pour afficher les résultats de la recherche. Par défaut, c’est la page en cours qui est utilisée, mais vous pouvez choisir de créer un gabarit et une page dédiée, afin d’afficher les résultats de recherche générés par le clic sur un des mots clés du nuage. Pour connaître l’id d’une page, dans votre interface d’administration, par le menu « Contenu » puis « pages » (dans le cas d’une page), survolez le lien d’édition de votre page et trouvez le numéro dans l’url après « content_id= », c’est l’id de votre page à placer dans le tag (smarties) après returnid=.

Note, vous pouvez aussi utiliser clean_urls=true, c’est équivalent à clean_urls=1

Pour plus d’options, regardez l’aide du plugin (de la balise), sur le modèle de ce qui est au dessus, il sera simple de les utiliser.

Dernier exemple, pour choisir la couleur des mots générés, on peut par exemple utiliser l’option css_colors, les couleurs par défaut sont « #daa520,#99ccde,#7ACC00,#CC6699,#333333,#a897ac ». Vous l’aurez compris, vous ajoutez l’option à votre tagcloud en changeant les codes couleurs html comme ceci :

[php]{tagcloud wishlist="license,page,test,link,theme,subject,cms,simple,documentation,general,help,cms,content" link_title="les %COUNTS% meilleurs %WORD%" clean_urls=1 returnid=29 css_colors="#daa520,#99ccde,#7ACC00,#CC6699,#333333,#a897ac"}[/php]

En espérant que ceci puisse vous faciliter la mise en place d’un nuage de mot clé sur votre CMSMS M&M’S !

Sources :
http://dev.cmsmadesimple.org/projects/tagcloud
http://www.cmsmadesimple.fr/forum/viewtopic.php?id=1447

Loading

Tags: , , , , , , , , ,

jeudi, novembre 4th, 2010 Innovation, Reseau, Technologie Un commentaire

Suivre les logs systèmes en temps réel avec tail sous gnu/linux

Console - terminalUn atout dans les systèmes GNU/Linux, c’est principalement la « verbosité » du système.

Cela signifie, que lorsque vous avez un système GNU/Linux installé, soit sur votre machine, soit sur un serveur distant, vous pouvez consulter en temps réel les informations renvoyées par le système (dans une console / fenêtre terminal en local, ou connecté en SSH à un serveur distant).

Ce post s’adresse évidemment à un niveau plutôt débutant.

Les principales remontées d’informations sont les logs systèmes, le plus généralement inscrits dans le fichier /var/log/messages.

Pour suivre l’activité du fichier, vous allez pouvoir utiliser la commande « tail » comme ceci :
[bash]tail -f /var/log/messages[/bash]

Avec cette commande, les informations vont défiler automatiquement sur la sortie standard (votre console). Pour interrompre la consultation, pressez :
CTRL+C (les 2 touches en même temps).

Vous pouvez également conserver le processus actif, et reprendre la main sur la console, en plaçant le processus en arrière plan :
Lancement de la commande :
[bash]tail -f /var/log/messages[/bash]
Presser CTRL+Z (passage en arrière plan, en pause)
Taper : bg
La tache reste active en arrière plan (background).

Vous noterez qu’après avoir pressé CTRL+Z, la tache est numérotée [1] (ici 1, la première en arrière plan), et se retrouve à l’état « Stopped ». C’est en tapant « bg » et en validant, que la tache devient active.
Vous pouvez ainsi taper d’autres commandes, tout en ayant la visibilité sur les logs. Notez que les logs s’affichent quoi que vous fassiez, ce qui peut parasiter si vous être en train de taper autre chose.

L’intérêt de la chose, est, par exemple, de pouvoir monitorer en temps réel plusieurs fichiers de log, et pouvoir agir.

Par exemple, je veux surveiller en même temps mes logs systèmes, et mes logs apache (serveur web httpd) lorsque je le relance pour voir si tout va bien.

On part du principe qu’on est connecté en root (ou sudo bash) dans le terminal :
Analyse des logs système :
[bash]tail -f /var/log/messages[/bash]
Puis je presse CTRL+Z
Activation de la tâche en arrière plan :
taper : bg
Analyse simultanée des logs apache :
[bash]tail -f /var/log/httpd/error_log[/bash]
Passage en arrière plan : CTRL+Z
Activation de cette autre tâche en arrière plan :
bg
(vous noterez le petit [2] indiquant qu’il s’agit de la deuxième tâche tournant en arrière plan).
Puis je relance mes services pour voir ce que ça donne :
[bash]/etc/init.d/httpd restart[/bash]
(Vous aurez évidemment apache d’installé sur votre machine pour cet exemple !).

Vous verrez donc défiler les informations « habituelles » de redémarrage du service, et les logs générés par tout ceci.

Enfin, car vous allez en avoir besoin, il faut ramener les tâche en premier plan afin de pouvoir les interrompre !
Vous pouvez donc rappeler vos processus, soit simplement via la commande « fg » (foreground) comme ceci :
[bash]fg[/bash]
Soit en appelant la commande voulue par son numéro :
[bash]fg 1[/bash]
Puis il suffit de presser CTRL+C pour interrompre la tâche. Répétez la commande « fg » jusqu’à avoir le message :
[bash]bash: fg: current : tâche inexistante[/bash]
C’est bon il ne reste aucun processus en arrière plan !

Ceci est évidemment utilisable avec tous les logs renvoyés par le système, que vous trouvez généralement dans le dossier /var/log.

S’il vous arrive par erreur d’utiliser la commande « tail » sur un binaire (un programme), l’environnement de votre console peut être « chamboulé » et les caractères affichés devenir illisibles. Dans ce cas, appuyez sur CTRL+C et tapez la commande
[bash]reset[/bash]
(même si les caractères ne s’affichent pas correctement) et la situation devrait être rétablie.

J’espère que ce petit article pourra être utile à certains.

Source image : http://www.openclipart.org/detail/25561

Loading

Tags: , , , , , , , , , ,

mardi, novembre 2nd, 2010 Bash, GNU - Linux, Reseau, Technologie 5 Comments
Not f'd — you won't find me on Facebook
décembre 2024
L M M J V S D
 1
2345678
9101112131415
16171819202122
23242526272829
3031  
 

 
Suivez moi sur twitter - follow me on twitter
 
Follow on LinkedIn
[FSF Associate Member]
 
Free Software, Free Society
VIRTUALISATION :
Compacter une image virtualbox VDI
Bon petit tutoriel esxi
Marche d'appliances vmware
Installer ESXi sur un disque IDE
Installer ESXi 3.5 sur un disque USB
Installer proxmox avec DRBD et migration / réplication à chaud
Installer OSSEC avec VMware
Information sur le VDI
SECURITE - FIREWALL :
Ouvrir des ports dynamiquement iptables - knockd
Autre tres bon tuto knockd
Docs Arp poisoning - Anglais
Metasploit test de pénétration
Zone H - sites piratés en temps réel
Blog invisible things
Tips protection sécurité wordpress
Pfsense - distribution firewall opensource - adsl internet failover
Iproute 2 mini how to - linux advanced routing
ClearOS - la passerelle sécuritaire lan - wan
HAUTE DISPONIBILITE :
CDN - Accélération de la distribution de données
drbd iscsi ocfs2 dm multipath tutoriel
Load balancing LVS
Load balancing opensource list
HA-Proxy :
HAproxy - http load balancer
Simple tutoriel HAproxy
HAproxy - debian tutoriel
Centos - Ip failover
Configuratoin DM-Multipath Redhat
VMware Doubletake - continuité
Quelques liens sur la réplication MySQL : Manuel MySQL, chapitre sur la réplication
Manuel MySQL, Tutoriel clair sur la mise en place
Autre tuto sur la mise en place de la réplication MySQL
Références pour optimisation du serveur MySQL
Utilisation de EXPLAIN mysql pour optimiser vos bases
optimiser vos bases - requetes et index
STOCKAGE RESEAU :
Un outil de clonage disque en reseau
Internet NAS 250Go 250 accès VPN
Server ISCSI avec Ubuntu tuto
ISCSI centos redhat tutoriel
Gérer et étendre un LVM
Créer sa piratebox ! trop cool
Deaddrops, les clés USB dans les murs, aussi cool !
OPTIMISATION WORDPRESS :
Télécharger Xenu
Comment utiliser Xenu
optimisation hébergement wordpress
Super howto wordpress (En)
Test de charge serveur web - Load impact
VPN - ROUTEUR - LAN:
Zeroshell - le mini-routeur wifi tout en un
Retroshare, votre réseau d'échange crypté!
Openvpn sur centos redhat
Intégrer Linux dans active directory
Routage inter-vlan avec Linux
Routage avec OSPF
Network Weathermap
TENDANCES - WEB:
Boutons twitter
Analyser les tendances des recherches Google
Protocole sitemap - robots.txt
Creer des animations CSS3
Code php pour interagir avec twitter
E reputation
Jquery
TRUCS ET ASTUCES GNU/LINUX :
Tuxmachines.org - Actus et tips linux
Configurer GRUB2 et grub2 ici
Panoet - en anglais - tips & tricks
Readylines tips and trick pertinents
Squid Clamav - proxy antivirus
Apprendre Unix en 10 minutes
13 tips sur les expressions régulières
IE Sous linux IES
LDAP 2.4 Quickstart guide
Tutoriel LDAP
Installation annuaire LDAP
Serveur Mail Postfix - Dovecot - LDAP - MDS
Créer un linux personnalisé en ligne - custom linux
Super site sur linux - en
Capistrano - déploiement automatisé
MONITORING :
Nagios tutoriel et doc
Nagios plugin NRPE tuto
Nagios plugin NRPE autre tuto
Nagios plugin NRPE officiel
Zabbix - fonctionnalités
Zabbix - installation
Guide MRTGsys - grapher la charge locale
MRTGsys - ajouter des graphs
MRTGsys - interpréter les données
Shinken - Monitoring
Thruk Monitoring webinterface
Shinken - Tutoriel
Shinken - Référence chez Nicolargo
AUTRES LIENS :
RemixJobs IT jobs
USB Multiboot
Reset mot de passe windows
Java python et autres tips, intéressant !
Forum inforeseau
Open Clipart
Excellent comic en ligne
Inforeseau.fr