ligne de commande
Compression de fichiers sous linux en console gzip, bzip, zip et tar – ubuntu – fedora – mandriva
Sous les systèmes GNU-Linux, les outils permettant de créer des archives compressées sont généralement installés par défaut sur la plupart des distributions.
Dans cet article, je vous présente un simple mémo sur l’utilisation des outils de compression / décompression de fichiers sous GNU/Linux en ligne de commande. A lire en entier avant de tester par vous même !
Dans la plupart des cas, la transmission de fichiers se fait dans des formats compressés, particulièrement pour le téléchargement de programmes à compiler, souvent disponible en format .gz .tgz (ou .tar.gz, c’est équivalent) et parfois .bz2.
Les principaux programmes utilisés pour la gestion des archives sont les suivants :
tar (tape archive files) : Permet de créer un fichier archive qui va contenir l’ensemble des fichiers demandé, sans compression.
gzip : Permet de compresser les fichiers au format gzip (.gzip ou .gz)
gunzip : Permet de décompresser les fichiers de type .gzip ou .gz
bzip2 : Permet de compresser les fichiers au format .bz2 ou .bzip2
bunzip2 : Permet de décompresser les fichiers de type .bz2 ou .bzip2
Bien sûr cette liste n’est pas limitative, vous trouverez un grand nombre d’outils sous Linux pour compresser et décompresser comme 7zip, zip, unzip, rar, unrar dont les licences ne sont pas toujours libres, mais utilisables pour décompresser des fichiers dans les formats donnés au besoin sur votre système favoris.
Sous Linux, on va principalement utiliser « tar » pour créer l’archive de base, puis compresser celle-ci avec un outil au choix. L’atout principal de la commande « tar » est de maintenir les attributs complets des fichiers (équivalent des ACL sous Windows), permettant ainsi, lors de l’extraction, de retrouver une arborescence identique à l’originale, dans sur le contenu que les attributs (propriétaire, groupe, droits d’accès, de modification et d’exécution).
Utilisation de tar (pour les informations détaillées, utiliser la commande « man tar » en console) :
Pour l’exemple, nous partons du dossier /home, dans lequel nous avons un dossier « toto » avec quelques fichiers.
On va donc créer une archive du home de toto appelée « home_toto.tar », afin de la restaurer ultérieurement :
[bash]
cd /home
tar -cvf home_toto.tar toto/
[/bash]
Le fichier est créé, contenant le dossier toto, et tout ce qu’il contient.
Les options utilisées signifient :
-c Créer une nouvelle archive
-v Afficher le détail du traitement en court (mode verbeux)
-f Créer l’archive dans le fichier défini (par opposition à un périphérique lecteur de bande « tape »).
Nous avons maintenant un super backup (une copie de secours, car la commande tar ne supprime pas l’original) de notre dossier /home/toto. On peut donc effacer l’original pour le recréer depuis l’archive :
[bash]
rm -rf /home/toto
tar -xvf home_toto.tar
[/bash]
NOTE : Attention avec la commande rm -rf, on supprime tout le contenu sans confirmation, assurez vous bien de ce que vous tapez !
La commande rm -rf supprime complètement le dossier /home/toto, puis on le restaure depuis l’archive tar avec la commande tar.
NOTE2 : Ceci est un exemple, mais n’est pas l’action à mener pour effacer un compte utilisateur et son home d’un système linux, pour cela vous passerez plutôt par « deluser » ou « userdel ». Ici on ne parle que de créer une archive d’un dossier, supprimer le dossier original, et de le recréer depuis l’archive avec ses attributs originaux.
Vous savez maintenant créer une archive tar (non compressée) et la restaurer.
Passons maintenant à l’utilisation de la même commande, mais en utilisant l’outil de compression « gzip ».
Nous pourrions simplement utiliser la commande « gzip » pour compresser le tar précédemment créé comme ceci :
[bash]
gzip home_toto.tar
[/bash]
ce qui donnerait un fichier tout à fait convenable au format home_toto.tar.gz !
Évidemment, tar permet d’utiliser la compression en ligne, simplement en ajoutant l’option « -z » comme ceci :
[bash]
cd /home
tar -cvzf home_toto.tar.gz toto/
[/bash]
Notez le « z » en plus dans les paramètres, indiquant à tar qu’il doit « gzipper » l’archive en plus de créer le tar.
On la décompressera en suivante la même logique :
[bash]
tar -xvzf home_toto.tar.gz toto/
[/bash]
Tout simplement. Il en est de même pour l’utilisation de bzip2, mais au lieu de « -z », on va utiliser « -j », comme ceci :
[bash]
cd /home
tar -cvjf home_toto.tar.bz2 toto/
[/bash]
Puis on décompresse et extrait les données :
[bash]
cd /home
tar -xvjf home_toto.tar.bz2 toto/
[/bash]
Bien sûr vous allez me dire, mais pourquoi donc utiliser bzip2 plutôt que gzip, etc… c’est une question de performances et de besoins !
Bzip2 présente une compression bien plus forte que gzip, mais nécessitant de plus grosses ressources CPU ! Donc, plus on compresse, plus c’est long !
Dans le cadre de cette démonstration, on ne voit pas de différences, mais si vous commencez à travailler par exemple sur des dossiers « home » qui représentent des centaines de Go (Giga octets), la différence sera évidente.
Par exemple :
machine puissante, mais manque de place : j’utilise bzip2
machine puissante et plein de place, j’utilise gzip (on gagne du temps).
machine puissante et plein de place, mais je dois ensuite télécharger les données par internet, j’utilise bzip2 ! on va minimiser la taille des fichiers pour économiser de la bande passante.
etc.
Vous noterez cependant que pour les synchronisations de données au travers du réseau, on partira plutôt sur du rsync (incrémentiel/differentiel) qu’une archive tar. Encore une fois tout dépend du contexte (temps, performance, support, débit etc.).
Dans un tunnel vpn qui compresserait les données, on remettra en question le besoin de compresser les données avant transfert, dans la mesure ou ce travail est réalisé à chaud par le flux réseau :) mais dans ce cas, on sort de la problématique des archives, que permet la commande tar.
Dernier point, il s’agit ici d’une méthode utilisable en ligne de commande, par exemple sur un serveur à distance connecté en SSH2, ou encore dans une console en local. Bien évidemment, avec une interface graphique comme Gnome, tout ceci est accessible avec la souris, bouton droit sur un dossier puis on clique sur « compresser », on choisi l’extension dans la liste, on cliquer sur créer, et le programme fait le reste.
Notez que si certaines extensions ne sont pas disponibles dans le menu déroulant, c’est qu’il manque peut être simplement l’outil en ligne de commande. Pensez à vérifier que les différents outils évoqués dans ce billet sont bien tous installés sur votre système(apt-get install gzip bzip2 unzip rar unrar 7zip, pareil avec yum install gzip bzip2… etc), pour prendre en charge tous les formats d’archives compressées.
Bash : lire un fichier ligne par ligne avec une boucle while
Encore une fois, rien ne vaut l’apprentissage par l’exemple. Ci dessous le fichier bash exemple, qui va lire le fichier /etc/passwd ligne par ligne.
[bash]#!/bin/bash
while read line
do
echo ${line}
done < /etc/passwd[/bash]
donc ici, les lignes sont chargées dans la variable « line » et simplement affichées par la commande echo, mais on peut utiliser ça dans bien des situations ;)
Note : Pour fonctionner, ce fichier doit être appelé par la commande [bash]sudo sh fichier.sh[/bash] ou, en le rendant exécutable après enregistrement, comme suit :
[bash]chmod +x fichier.sh[/bash]
Puis est lançable directement :
[bash]sudo ./fichier.sh[/bash].
On utilise ici « sudo » car il y a des chances que ce fichier ne soit accessible que par le compte root.
Rechercher un fichier sous GNU-Linux, la commande FIND, et autre
Il peut faire peur (find), alors que l'outil est fantastique, et finalement assez simple !
De base sous GNU/Linux, vous disposez de plusieurs outils pour retrouver des fichiers ou programmes. On connait "whereis" qui permet de trouver l'emplacement d'un programme, son source si présent, et le manuel associé, par exemple :
[bash]whereis whois[/bash]
Mais ceci ne permet pas de chercher des fichiers spécifiques. Vous disposez ensuite de "locate" qui permet de chercher dans la liste des fichiers indexés par "updatedb" (mlocate), dont les chemins sont configurés généralement dans /etc/updatedb.conf, exemple :
[bash]locate mon_fichier.txt[/bash]
Si des fichiers contenant la chaine dans leurs noms sont indéxés alors ils apparaîtront. Si vous voulez effectuer la recherche sur la base la plus récente possible, il suffit de mettre à jour en lançant la commande à la main :
[bash]sudo updatedb[/bash]
(peut prendre du temps si votre disque contient beaucoup de fichiers !)
Mais revenons au sujet qui nous interesse, la commande find. Jusqu'ici nous avons vu des outils de recherche limités, ou conditionné par une indexation. La commande find permet de lancer une recherche n'importe où, plus ou moins approfondie.
Par exemple, je veux chercher dans le dossier courant tous les fichiers et dossiers contenant "tableau", voici la commande :
[bash]find ./ -name ‘*tableau*'[/bash]
Voilà qui est fait !
Si je ne suis pas dans le dossier qui m'interesse, je peux aussi lancer la recherche comme ceci :
[bash]find /home/user/ -name ‘*tableau*'[/bash]
Très simple non ?
Allons un peu plus loin, je veux maintenant chercher tous les fichiers finissant par .php qui contiennent la chaine "Content-Transfer-Encoding: 8bit" :
[bash]find ./ -name ‘*.php’|xargs grep "Content-Transfer-Encoding: 8bit"[/bash]
Ca peut être très utile !
Autre exemple avec find et la commande associée, je souhaite trouver tous les dossiers vides, et les supprimer :
[bash]find ./ -depth -type d -empty -exec rmdir {} \;[/bash]
ou simplement chercher tous les dossiers vides (ici dans le home de user) :
[bash]find /home/user/ -empty -type d[/bash]
Autre possibilité, trouver les fichiers uniquement contenus dans un seul et même dossier, et n'afficher QUE le nom du fichier sans les "slash" autour :
[bash]find /home/user/dossier/ -maxdepth 1 -type f -exec /bin/basename {} \;[/bash]
On va finir ce post avec deux autres exemples bien utiles à mon sens, dabord compter le nombre de fichiers dans une arborescence en combinant la commande avec wc:
[bash]find ./ -type f|wc -l[/bash]
et enfin, la possibilité de chercher par date, avec par exemple, tous les fichiers modifiés il y a 2 jours :
[bash]find /home/user/ -mtime 2 -type f[/bash]
ou tous mes fichiers modifiés ce jour :
[bash]find $HOME -mtime 0[/bash]
Voilààà! pour plus d'info : man find
En espérant que ça puisse vous être utile.
Links
Calendrier
L | M | M | J | V | S | D |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
Recherche
Derniers articles
Tresronours Twitter
Keywords cloud topic
Membre de la FSF
Liens qui vont bien
Mots clés vrac – keyword cloud
License du contenu – CC By NC SA
Archives
- Resumed posting and expanding on X
- Linkedin Access to your account has been restricted – Final debrief and resilience plan
- I’m thankful for the support I get in rough time
- Cyber security news of the day – 2024 May 31
- Alexandre Blanc Cyber Kicked out from Linkedin
- You’ll most likely find me on LinkedIn
- The Russian roulette landing page !
- RTSP, Debian, VLC, not playing, IP Camera
- 5G network hosted in the cloud, no internet, no phone ! So smart ! And I ended on TV, This week in cyber
- They lock the door for privacy… but they keep a copy of the key, and couple of backdoors
- Worst is yet to come, but they all warned you
- Migrating an old WordPress and handling character set, UTF8, latin1, latin1_swedish_ci
- From a broken TLS CA, to Facebook, to FIN12 hit and run
- Yes we can fix this mess, but do we want to ? That’s another story
- Criminals are still dominating the game, why are we doing so wrong, and what can we learn in this tech ocean ?
- Riding cloud can be tricky, don’t fall from it, in the weekly cyber !
- The threat landscape is very dynamic – Cyber news this week
- Cybersecurity is not obvious even for this newsletter !
- Install Slack desktop app on Kali rolling fixing libappindicator3-1 missing dependency
- How to delete all resources in azure to avoid charges after trial on your forced credit card registration
- Proxmox – ZFS – Dead drive on active VM, recover from replicated disk
- Restrict access to proxmox web admin interface
- Migrate your ESXI VMs to proxmox ZFS
- Install your VPN server with pi-hole on OVH VPS in 30 min
- Using raspberry pi 3 as wifi bridge and repeater and firewall
- Raspberry 3 – create a wifi repeater with USB wifi dongle
- raspberry 3 – routeur pare feu point d’acces wifi avec filtrage pub et tracking – router firewall access point with ads and tracking filtering
- Dell XPS 13 touchpad – corriger la sensibilité
- Utiliser Zazeen set top box depuis une connexion videotron
- Fermeture de mon compte facebook – la dernière goutte
- Choisir un kernel par defaut au demarrage de Centos 7.2 – configuration grub2
- Openvpn access server 2.0.25 et android
- Régler la luminosité du laptop par ligne de commande
- chromium outlook web app version complete sous linux
- Nexus 7 2012 – android 5 lollipop solution au probleme de lenteur
- HDD led sur Xubuntu – xfce
- xubuntu 14.04 verrouiller ecran de veille et desactiver mise en veille a la fermeture de l’ecran
- Authentification avec Radmin en utilisant Wine sur Gentoo
- Patcher bash sur une distribution plus supportee comme fedora 11
- Zimbra desktop sous xubuntu 14.04 64bit – fix
- xubuntu 12.10 probleme de son avec VLC – pulse audio – alsa – toshiba L855D – solution
- Evolution sous xubuntu 12.10 – bug affichage a la configuration – solution temporaire
- Booster son acces internet en changeant de DNS pour opendns
- Serveur DLNA sous ubuntu – minidlna
- sshfs sous windows – dokan sshfs
- xubuntu 11.10 Installer le plugin java pour firefox
- Installer Google Earth sur Xubuntu 11.10
- Installer nagios sur Fedora 11 depuis les sources
- Configurer varnish-cache avec des virtualhosts, apache, fedora, redhat, centos
- Installer Varnish depuis les sources sur Fedora 11