ligne de commande

Compression de fichiers sous linux en console gzip, bzip, zip et tar – ubuntu – fedora – mandriva

Icone archive tar gzSous les systèmes GNU-Linux, les outils permettant de créer des archives compressées sont généralement installés par défaut sur la plupart des distributions.

Dans cet article, je vous présente un simple mémo sur l’utilisation des outils de compression / décompression de fichiers sous GNU/Linux en ligne de commande. A lire en entier avant de tester par vous même !

Dans la plupart des cas, la transmission de fichiers se fait dans des formats compressés, particulièrement pour le téléchargement de programmes à compiler, souvent disponible en format .gz .tgz (ou .tar.gz, c’est équivalent) et parfois .bz2.

Les principaux programmes utilisés pour la gestion des archives sont les suivants :
tar (tape archive files) : Permet de créer un fichier archive qui va contenir l’ensemble des fichiers demandé, sans compression.
gzip : Permet de compresser les fichiers au format gzip (.gzip ou .gz)
gunzip : Permet de décompresser les fichiers de type .gzip ou .gz
bzip2 : Permet de compresser les fichiers au format .bz2 ou .bzip2
bunzip2 : Permet de décompresser les fichiers de type .bz2 ou .bzip2

Bien sûr cette liste n’est pas limitative, vous trouverez un grand nombre d’outils sous Linux pour compresser et décompresser comme 7zip, zip, unzip, rar, unrar dont les licences ne sont pas toujours libres, mais utilisables pour décompresser des fichiers dans les formats donnés au besoin sur votre système favoris.

Sous Linux, on va principalement utiliser « tar » pour créer l’archive de base, puis compresser celle-ci avec un outil au choix. L’atout principal de la commande « tar » est de maintenir les attributs complets des fichiers (équivalent des ACL sous Windows), permettant ainsi, lors de l’extraction, de retrouver une arborescence identique à l’originale, dans sur le contenu que les attributs (propriétaire, groupe, droits d’accès, de modification et d’exécution).

Utilisation de tar (pour les informations détaillées, utiliser la commande « man tar » en console) :
Pour l’exemple, nous partons du dossier /home, dans lequel nous avons un dossier « toto » avec quelques fichiers.

On va donc créer une archive du home de toto appelée « home_toto.tar », afin de la restaurer ultérieurement :
[bash]
cd /home
tar -cvf home_toto.tar toto/
[/bash]
Le fichier est créé, contenant le dossier toto, et tout ce qu’il contient.
Les options utilisées signifient :
-c Créer une nouvelle archive
-v Afficher le détail du traitement en court (mode verbeux)
-f Créer l’archive dans le fichier défini (par opposition à un périphérique lecteur de bande « tape »).

Nous avons maintenant un super backup (une copie de secours, car la commande tar ne supprime pas l’original) de notre dossier /home/toto. On peut donc effacer l’original pour le recréer depuis l’archive :
[bash]
rm -rf /home/toto
tar -xvf home_toto.tar
[/bash]
NOTE : Attention avec la commande rm -rf, on supprime tout le contenu sans confirmation, assurez vous bien de ce que vous tapez !
La commande rm -rf supprime complètement le dossier /home/toto, puis on le restaure depuis l’archive tar avec la commande tar.
NOTE2 : Ceci est un exemple, mais n’est pas l’action à mener pour effacer un compte utilisateur et son home d’un système linux, pour cela vous passerez plutôt par « deluser » ou « userdel ». Ici on ne parle que de créer une archive d’un dossier, supprimer le dossier original, et de le recréer depuis l’archive avec ses attributs originaux.

Vous savez maintenant créer une archive tar (non compressée) et la restaurer.

Passons maintenant à l’utilisation de la même commande, mais en utilisant l’outil de compression « gzip ».
Nous pourrions simplement utiliser la commande « gzip » pour compresser le tar précédemment créé comme ceci :
[bash]
gzip home_toto.tar
[/bash]
ce qui donnerait un fichier tout à fait convenable au format home_toto.tar.gz !

Évidemment, tar permet d’utiliser la compression en ligne, simplement en ajoutant l’option « -z » comme ceci :
[bash]
cd /home
tar -cvzf home_toto.tar.gz toto/
[/bash]

Notez le « z » en plus dans les paramètres, indiquant à tar qu’il doit « gzipper » l’archive en plus de créer le tar.
On la décompressera en suivante la même logique :

[bash]
tar -xvzf home_toto.tar.gz toto/
[/bash]

Tout simplement. Il en est de même pour l’utilisation de bzip2, mais au lieu de « -z », on va utiliser « -j », comme ceci :
[bash]
cd /home
tar -cvjf home_toto.tar.bz2 toto/
[/bash]

Puis on décompresse et extrait les données :

[bash]
cd /home
tar -xvjf home_toto.tar.bz2 toto/
[/bash]

Bien sûr vous allez me dire, mais pourquoi donc utiliser bzip2 plutôt que gzip, etc… c’est une question de performances et de besoins !
Bzip2 présente une compression bien plus forte que gzip, mais nécessitant de plus grosses ressources CPU ! Donc, plus on compresse, plus c’est long !

Dans le cadre de cette démonstration, on ne voit pas de différences, mais si vous commencez à travailler par exemple sur des dossiers « home » qui représentent des centaines de Go (Giga octets), la différence sera évidente.

Par exemple :
machine puissante, mais manque de place : j’utilise bzip2
machine puissante et plein de place, j’utilise gzip (on gagne du temps).
machine puissante et plein de place, mais je dois ensuite télécharger les données par internet, j’utilise bzip2 ! on va minimiser la taille des fichiers pour économiser de la bande passante.
etc.

Vous noterez cependant que pour les synchronisations de données au travers du réseau, on partira plutôt sur du rsync (incrémentiel/differentiel) qu’une archive tar. Encore une fois tout dépend du contexte (temps, performance, support, débit etc.).

Dans un tunnel vpn qui compresserait les données, on remettra en question le besoin de compresser les données avant transfert, dans la mesure ou ce travail est réalisé à chaud par le flux réseau :) mais dans ce cas, on sort de la problématique des archives, que permet la commande tar.

Dernier point, il s’agit ici d’une méthode utilisable en ligne de commande, par exemple sur un serveur à distance connecté en SSH2, ou encore dans une console en local. Bien évidemment, avec une interface graphique comme Gnome, tout ceci est accessible avec la souris, bouton droit sur un dossier puis on clique sur « compresser », on choisi l’extension dans la liste, on cliquer sur créer, et le programme fait le reste.
Notez que si certaines extensions ne sont pas disponibles dans le menu déroulant, c’est qu’il manque peut être simplement l’outil en ligne de commande. Pensez à vérifier que les différents outils évoqués dans ce billet sont bien tous installés sur votre système(apt-get install gzip bzip2 unzip rar unrar 7zip, pareil avec yum install gzip bzip2… etc), pour prendre en charge tous les formats d’archives compressées.

Loading

Tags: , , , , , , , , , , , , ,

mercredi, décembre 8th, 2010 Bash, GNU - Linux, Technologie Aucun commentaire

Bash : lire un fichier ligne par ligne avec une boucle while

Encore une fois, rien ne vaut l’apprentissage par l’exemple. Ci dessous le fichier bash exemple, qui va lire le fichier /etc/passwd ligne par ligne.

[bash]#!/bin/bash
while read line
do
echo ${line}
done < /etc/passwd[/bash]

donc ici, les lignes sont chargées dans la variable « line » et simplement affichées par la commande echo, mais on peut utiliser ça dans bien des situations ;)

Note : Pour fonctionner, ce fichier doit être appelé par la commande [bash]sudo sh fichier.sh[/bash] ou, en le rendant exécutable après enregistrement, comme suit :

[bash]chmod +x fichier.sh[/bash]

Puis est lançable directement :

[bash]sudo ./fichier.sh[/bash].

On utilise ici « sudo » car il y a des chances que ce fichier ne soit accessible que par le compte root.

Loading

Tags: , , , , , , ,

jeudi, octobre 14th, 2010 Bash, GNU - Linux, Technologie Aucun commentaire

Rechercher un fichier sous GNU-Linux, la commande FIND, et autre

Il peut faire peur (find), alors que l'outil est fantastique, et finalement assez simple !

De base sous GNU/Linux, vous disposez de plusieurs outils pour retrouver des fichiers ou programmes. On connait "whereis" qui permet de trouver l'emplacement d'un programme, son source si présent, et le manuel associé, par exemple :

[bash]whereis whois[/bash]

Mais ceci ne permet pas de chercher des fichiers spécifiques. Vous disposez ensuite de "locate" qui permet de chercher dans la liste des fichiers indexés par "updatedb" (mlocate), dont les chemins sont configurés généralement dans /etc/updatedb.conf, exemple :

[bash]locate mon_fichier.txt[/bash]

Si des fichiers contenant la chaine dans leurs noms sont indéxés alors ils apparaîtront. Si vous voulez effectuer la recherche sur la base la plus récente possible, il suffit de mettre à jour en lançant la commande à la main :
[bash]sudo updatedb[/bash]
(peut prendre du temps si votre disque contient beaucoup de fichiers !)

Mais revenons au sujet qui nous interesse, la commande find. Jusqu'ici  nous avons vu des outils de recherche limités, ou conditionné par une indexation. La commande find permet de lancer une recherche n'importe où, plus ou moins approfondie.

Par exemple, je veux chercher dans le dossier courant tous les fichiers et dossiers contenant "tableau", voici la commande :
[bash]find ./ -name ‘*tableau*'[/bash]
Voilà qui est fait !

Si je ne suis pas dans le dossier qui m'interesse, je peux aussi lancer la recherche comme ceci :
[bash]find /home/user/ -name ‘*tableau*'[/bash]

Très simple non ?
Allons un peu plus loin, je veux maintenant chercher tous les fichiers finissant par .php qui contiennent la chaine "Content-Transfer-Encoding: 8bit" :
[bash]find ./ -name ‘*.php’|xargs grep "Content-Transfer-Encoding: 8bit"[/bash]

Ca peut être très utile !

Autre exemple avec find et la commande associée, je souhaite trouver tous les dossiers vides, et les supprimer :
[bash]find ./ -depth -type d -empty -exec rmdir {} \;[/bash]
ou simplement chercher tous les dossiers vides (ici dans le home de user) :
[bash]find /home/user/ -empty -type d[/bash]

Autre possibilité, trouver les fichiers uniquement contenus dans un seul et même dossier, et n'afficher QUE le nom du fichier sans les "slash" autour :
[bash]find /home/user/dossier/ -maxdepth 1 -type f -exec /bin/basename {} \;[/bash]

On va finir ce post avec deux autres exemples bien utiles à mon sens, dabord compter le nombre de fichiers dans une arborescence en combinant la commande avec wc:
[bash]find ./ -type f|wc -l[/bash]
et enfin, la possibilité de chercher par date, avec par exemple, tous les fichiers modifiés il y a 2 jours :
[bash]find /home/user/ -mtime 2 -type f[/bash]
ou tous mes fichiers modifiés ce jour :
[bash]find $HOME -mtime 0[/bash]

Voilààà! pour plus d'info : man find
En espérant que ça puisse vous être utile.

Loading

Tags: , , , , , , , ,

samedi, octobre 9th, 2010 GNU - Linux, Technologie 2 Comments
Not f'd — you won't find me on Facebook
décembre 2024
L M M J V S D
 1
2345678
9101112131415
16171819202122
23242526272829
3031  
 

 
Suivez moi sur twitter - follow me on twitter
 
Follow on LinkedIn
[FSF Associate Member]
 
Free Software, Free Society
VIRTUALISATION :
Compacter une image virtualbox VDI
Bon petit tutoriel esxi
Marche d'appliances vmware
Installer ESXi sur un disque IDE
Installer ESXi 3.5 sur un disque USB
Installer proxmox avec DRBD et migration / réplication à chaud
Installer OSSEC avec VMware
Information sur le VDI
SECURITE - FIREWALL :
Ouvrir des ports dynamiquement iptables - knockd
Autre tres bon tuto knockd
Docs Arp poisoning - Anglais
Metasploit test de pénétration
Zone H - sites piratés en temps réel
Blog invisible things
Tips protection sécurité wordpress
Pfsense - distribution firewall opensource - adsl internet failover
Iproute 2 mini how to - linux advanced routing
ClearOS - la passerelle sécuritaire lan - wan
HAUTE DISPONIBILITE :
CDN - Accélération de la distribution de données
drbd iscsi ocfs2 dm multipath tutoriel
Load balancing LVS
Load balancing opensource list
HA-Proxy :
HAproxy - http load balancer
Simple tutoriel HAproxy
HAproxy - debian tutoriel
Centos - Ip failover
Configuratoin DM-Multipath Redhat
VMware Doubletake - continuité
Quelques liens sur la réplication MySQL : Manuel MySQL, chapitre sur la réplication
Manuel MySQL, Tutoriel clair sur la mise en place
Autre tuto sur la mise en place de la réplication MySQL
Références pour optimisation du serveur MySQL
Utilisation de EXPLAIN mysql pour optimiser vos bases
optimiser vos bases - requetes et index
STOCKAGE RESEAU :
Un outil de clonage disque en reseau
Internet NAS 250Go 250 accès VPN
Server ISCSI avec Ubuntu tuto
ISCSI centos redhat tutoriel
Gérer et étendre un LVM
Créer sa piratebox ! trop cool
Deaddrops, les clés USB dans les murs, aussi cool !
OPTIMISATION WORDPRESS :
Télécharger Xenu
Comment utiliser Xenu
optimisation hébergement wordpress
Super howto wordpress (En)
Test de charge serveur web - Load impact
VPN - ROUTEUR - LAN:
Zeroshell - le mini-routeur wifi tout en un
Retroshare, votre réseau d'échange crypté!
Openvpn sur centos redhat
Intégrer Linux dans active directory
Routage inter-vlan avec Linux
Routage avec OSPF
Network Weathermap
TENDANCES - WEB:
Boutons twitter
Analyser les tendances des recherches Google
Protocole sitemap - robots.txt
Creer des animations CSS3
Code php pour interagir avec twitter
E reputation
Jquery
TRUCS ET ASTUCES GNU/LINUX :
Tuxmachines.org - Actus et tips linux
Configurer GRUB2 et grub2 ici
Panoet - en anglais - tips & tricks
Readylines tips and trick pertinents
Squid Clamav - proxy antivirus
Apprendre Unix en 10 minutes
13 tips sur les expressions régulières
IE Sous linux IES
LDAP 2.4 Quickstart guide
Tutoriel LDAP
Installation annuaire LDAP
Serveur Mail Postfix - Dovecot - LDAP - MDS
Créer un linux personnalisé en ligne - custom linux
Super site sur linux - en
Capistrano - déploiement automatisé
MONITORING :
Nagios tutoriel et doc
Nagios plugin NRPE tuto
Nagios plugin NRPE autre tuto
Nagios plugin NRPE officiel
Zabbix - fonctionnalités
Zabbix - installation
Guide MRTGsys - grapher la charge locale
MRTGsys - ajouter des graphs
MRTGsys - interpréter les données
Shinken - Monitoring
Thruk Monitoring webinterface
Shinken - Tutoriel
Shinken - Référence chez Nicolargo
AUTRES LIENS :
RemixJobs IT jobs
USB Multiboot
Reset mot de passe windows
Java python et autres tips, intéressant !
Forum inforeseau
Open Clipart
Excellent comic en ligne
Inforeseau.fr