Configuration RsyncRésolu/Fermé

Question

Bonjour,

Je voudrais savoir comment configurer rsync pour faire un transfert de 200Go vers un serveur distant OVH.
En sachant que l'on devra donner une vitesse donnée suivant une certaine tranche horaire. La nuit, de 20h à 8h, je lui donne le maximum de vitesse d'upload, mais inversement, de 8h à 20h je veux qu'elle diminue de moitié (//40Ko/s).

Et si possible, dire au logiciel que le week-end, il peut travailler au maximum.

Merci d'avance,
Cordialement

Ben

mamiemando · Answer

La commande rsync propose une option bandwidth.
https://www.howtogeek.com/50794/keep-rsync-from-using-all-your-bandwidth/

Le truc c'est que je ne pense pas que tu puisses changer facilement ce débit une fois que la commande rsync est lancée. Donc la seule manière que je vois de faire, c'est d'interrompre ton rsync quand tu changes de plage horaire.

Par contre il faut faire quelques tests pour vérifier que le fichier dont le transfert à été interrompu va être repris/réécrit. dans le doute, il suffit de supprimer ce fichier et de relancer rsync ensuite.

Bonne chance

mamiemando · Answer

Pour automatiser rsync tu peux utiliser cron+anacron ou fcron.

http://doc.ubuntu-fr.org/cron
http://doc.ubuntu-fr.org/anacron
http://doc.ubuntu-fr.org/fcron

Il faut juste que cron tue le processus associé à rsync après avoir récupéré le nom du fichier en cours de synchronisation (si tu t'aperçois au cours de tes tests que le fichier en cours de synchronisation n'est pas repris et partiellement écrit). Ensuite il suffit de relancer rsync avec les bons paramètres (bandwith notamment en regardant l'heure).

Avant de penser à une automatisation avec cron ou équivalent, le mieux ce serait que tu commences à écrire le script shell qui sera invoqué par cron et qui en fonction de l'heure, lancera cron avec les bons paramètres. Tu pourras en profiter pour voir comment ça se comporte si un transfert de fichier est coupé en plein milieu.

Ça va ressembler en gros à ceci (script à vérifier et à tester), en supposant que tu utilises ssh pour transporter les informations synchronisées par rsync :

#!/bin/bash

# Source
src="/home/toto"

# Destination
dst_login="tata"
dst_host="1.2.3.4"
dst_path="/tmp"
dst="$dst_login@dst_host:$dst_path"

# Si un script toto.sh on le tue
for pid in $(ps aux | grep -v grep | grep $(basename $0))
do
  kill -9 $pid
done

# Selon l'heure, on définit ou non l'option bandwidth
hour=$(date -u +"%H")
if [ $hour -lt 20 ] && [ $hour -ge 8 ]
then
  bw="--bandwith=40"
fi

# Lancer la commande rsync
echo "rsync -avz --delete-after $bw $src $dst"
rsync -avz --delete-after $bw $src $dst
exit 0

Par rapport aux options passées à rsync :
http://doc.ubuntu-fr.org/rsync

Ensuite il faut installer une clé ssh sur la machine qui exécute ce script pour pouvoir se connecter au serveur sans avoir à taper de mot de passe.
http://prendreuncafe.com/blog/post/2005/08/29/262-installer-sa-cle-ssh-sur-un-serveur-distant

Une fois que ce script fonctionne correctement, tu pourras l'intégrer dans un cron.

Bonne chance

mamiemando · Answer

On peut réellement intégrer ce genre de paramètre dans un script shell ? 

Ben oui là c'est évalué dynamiquement à l'exécution ce qui évite d'avoir à passer un paramètre. Après rien ne t'empêche que ce soit un paramètre de ton script.

Je pensais plutôt à faire un shell où c'est à nous de rentrer les paramètres concernant le client et la vitesse demandée. 

Si ton script est capable de les calculer pourquoi faire ? De plus il faut bien voir que tu vas instancier ton script depuis un cron à terme, donc il faudra bien à un moment définir ce paramètre. Ou alors il faut que ton cron instancie explicitement rsync avec les bons paramètres (en fonction de l'heure à laquelle le job est instancié).

Le tien serait extra en le bidouillant pour rentrer les différents paramètres lors du lancement. "./toto.sh client 80 40" vitesse de nuit et de jour. 

Bah c'est trivial tu peux récupérer les valeurs client 80 et 40 respectivement dans $1, $2 et $3. Cf cours de shell.

Puis si on veut vraiment l'optimiser faudrait dire dans un cron que le samedi et dimanche, tu me le laisses en vitesse max.

Encore une fois c'est trivial. Tu vois que mon script récupère l'heure UTC avec la commande date. De la même manière tu peux demander à date de te retourner le jour, il faut juste l'instancier avec les bons paramètres.

man date

Exemple :

date +"%u"

(retourne 1 si on est lundi, 2 si on est mardi, etc...).

Donc là il suffit de tester si $(date +"%u") est supérieur ou égal (-ge) à 6 pour savoir qu'on est le week-end.

Bonne chance

mamiemando · Answer

Bah sans le script, le fichier cron, et le message d'erreur exacts c'est un peu compliqué de répondre... Est-ce que tu passes par crontab pour avoir des droits root ?
http://doc.ubuntu-fr.org/cron#autres_considerations

Déjà la question qu'il faut se poser c'est as-tu besoin d'être root ? Imaginons que toto puisse se connecter à rsync@192.168.0.123 et qu'il ait les droits pour écrire dans /home/toto/backup. Alors dans ce cas l'appel à ton script de backup peut se faire en tant que toto.

Je te conseille de lancer ton script à la main et de vérifier que tout marche en lançant ce script avec l'utilisateur qui sera employé à terme au niveau du cron.

Supposons que le script fasse ce qu'il faut (kill, paramétrage de la bande passante, ...) As-tu créé/installé une clé ssh comme je te l'ai indiqué ? Si oui, normalement tu dois arriver à lancer ta commande rsync sans avoir à taper de mots de passe. Note que si le script doit être lancé à terme par root, ton couple de clé doit être généré (ou déplacé) dans /root/.ssh.

Ensuite, dans le tutoriel que je t'ai indiqué la clé est protégée par une passphrase (ce qui est recommandé). Pour éviter d'avoir à retaper la passphrase après l'avoir saisi une première fois avec succès on utilise ssh-agent.

En pratique, quand tu te loggues en mode graphique par exemple en tant que toto, tu as généralement une instance de ssh-agent qui tourne (pour toto). Cela signifie que toto ne tape qu'une fois sa passphrase. La durée de vie de ssh-agent dans ce cas particulier est la durée de vie de sa session graphique (et elle ne concerne que toto).

En admettant que tu veuilles que ton script soit indépendant de ce genre de considération il faut soit ne pas protéger la clé par une passphrase (ce que je ne te recommande pas, car c'est pas secure, mais au moins c'est simple), soit se débrouiller pour avoir au préalable une instance de ssh-agent qui tourne un arrière plan et pour laquelle la clé ssh utilisée est déverrouillée.

Bonne chance

Configuration Rsync

4 réponses

Discussions similaires

Newsletters