Organiser tache distante pour load balancing

Fermé
mr_poussy Messages postés 2735 Date d'inscription vendredi 24 août 2001 Statut Modérateur Dernière intervention 27 février 2013 - 13 mai 2009 à 11:15
asevere Messages postés 13084 Date d'inscription lundi 28 janvier 2002 Statut Webmaster Dernière intervention 3 février 2022 - 13 mai 2009 à 15:16
Bonjour,

Voila je travaille sur un projet de sauvegarde via des client ftp vers un serveur ftp. la connexion sera crypté donc une charge importante pour le serveur ( ne pas depasser 50 connexion ssl par coeur, environ)...

je cherche donc une solution pour que tout mes client (peut etre quelques millier) ne mette pas mon infra a genou en se connectant tous en même tant.

Pour info les utilisateur ne devrait avoir la main que sur le rep a sauvegarde, rien d'autre. Il ne déclenche pas la sauvegarde.

Alors soit j'impose de tranche horaire par groupe d'utilisateur,mais c'est super lourd a gérer, soit je laisse le déclenchement du client à la charge d'un automate.

mes client seront majoritairement sous windows mais mon serveur sera surement sous un linux type centos...

J'ai commencé à chercher et je tombe sur les ordonnanceur de tache mais est ce adapté à mon besoin ?

je m'explique, moi je souhaiterais que cela se passe comme ca :

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : y a de la place dans la file d'attente et je ne suis pas surchargé. OK tu peut te lancer.
mon client : OK je lance le client ftp.

ou

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : houla la file est pleine et il y a trop de connexion ssl. ressaye dans 5 minutes.
mon client : OK je refait une demande dans 5 min.

voila le principe.

Y a t il plus simple ?
Cela existe t il deja ? ou ?
Dois je faire develloper mon prope truc ?


merci

4 réponses

jipicy Messages postés 40842 Date d'inscription jeudi 28 août 2003 Statut Modérateur Dernière intervention 10 août 2020 4 895
13 mai 2009 à 11:44
Salut misterjepassequetroprarement ;-))

Sans rien connaitre au load balancing, est-ce qu'une simple directive d'un serveur FTP comme "max_clients" (vsftpd) ne pourrait pas faire l'affaire ?

Sinon, demande au Jcheff (ou à Adrien) vu les problèmes de load balancing qu'ils ont eu lors de sa mise en place, et dans la mesure où ils ont solutionné le tout, ils doivent en connaitre un petit rayon sur le sujet, non ?

;-))
0
mr_poussy Messages postés 2735 Date d'inscription vendredi 24 août 2001 Statut Modérateur Dernière intervention 27 février 2013 61
13 mai 2009 à 12:02
pour clarifier un peut plus :

Les clients envoient les données qu'ils souhaitent sauvegarder sur le server FTP. mais vu le nombre de client je voudrais repartir la charge sur la journée. sans que ce soit trop lourd a gérer pour moi et sans aucune manip de l'utilisateur.

0
jipicy Messages postés 40842 Date d'inscription jeudi 28 août 2003 Statut Modérateur Dernière intervention 10 août 2020 4 895
13 mai 2009 à 12:05
Donc je me répète un peu :
Est-ce qu'une simple directive d'autorisation maximum de connexions simultanées ne ferait pas l'affaire ?
0
asevere Messages postés 13084 Date d'inscription lundi 28 janvier 2002 Statut Webmaster Dernière intervention 3 février 2022 426
13 mai 2009 à 12:08
Complement a ce que je te disait par MP, un truc du genre de ce que te dis jipicy semble être la seule chose dans le cas présent...

Le problème, c'est que le mec s'il n'a pas de chance va passer là journée a demander s'il peut commencer :(
0
mr_poussy Messages postés 2735 Date d'inscription vendredi 24 août 2001 Statut Modérateur Dernière intervention 27 février 2013 61
13 mai 2009 à 13:56
Si si c'est peut etre ma solution.

Comme au final j'aurai un nombre fixe d'utilisateurs, il me suffit de bien dimensionner mon serveur.

disons un bi-proc quad core. je suis l'estimation du datacenter qui me dit qu'il ne faut pas plus de 50 connexion ssl par coeur. je fais donc 50 * 8 = 400.

du coté serveur je met donc max_client_simultané = 400

du cote client je parametre le client ftp pour qu'il se lance au demarage et si le serveur n'est pas dispo il retente une connexion 5 ou 10 mn plus tard et ceci n fois jusqu'au soir.

du coup les premiers connecter finissent leur incrémental laissant la place aux clients qui auront été boulé avant...

j'éponge donc ma demande au fur et a mesure de la journée avec une solution toute simple.

qu'en pensez vous ??

si mon nombre max d'utilisateur par serveur et bien calculer cela devrait bien marcher non ?
0
asevere Messages postés 13084 Date d'inscription lundi 28 janvier 2002 Statut Webmaster Dernière intervention 3 février 2022 426
13 mai 2009 à 14:01
Faut juste esperer que tu ais pas un mec qui allume sa becane à 11h00 tout les jours, et qui quitte à 17h00 (selon le volume)... c'est pas pour une boite public ? :-)
0
mr_poussy Messages postés 2735 Date d'inscription vendredi 24 août 2001 Statut Modérateur Dernière intervention 27 février 2013 61 > asevere Messages postés 13084 Date d'inscription lundi 28 janvier 2002 Statut Webmaster Dernière intervention 3 février 2022
13 mai 2009 à 14:08
A priori cela ne devrait pas me poser de probleme. je me laisserais une bonne marge en suivant la charge du serveur au fur et a mesure de l'inscription des utilisateur au service.

le jour ou le serveur est chargé jusqu'a 17h je met en place un nouveau serveur. mais a mon avis avant d'en arriver la le nombre d'utilisateur sera enorme, non ?

en tout je devrait avoir entre 500 et 2000 utilisateurs.....

puis du coté serveur je compte mettre en place un script qui surveille qu'il y a bien des fichier modifier regulierement sur chaque home de mes utilisateur. le jour ou aucun fichier n'est modifier pendant une semaine il envois un mail d'alerte.

qu'en pense tu ?
0
asevere Messages postés 13084 Date d'inscription lundi 28 janvier 2002 Statut Webmaster Dernière intervention 3 février 2022 426 > mr_poussy Messages postés 2735 Date d'inscription vendredi 24 août 2001 Statut Modérateur Dernière intervention 27 février 2013
13 mai 2009 à 14:22
Barf, tout dépend du volume qui va transiter sur le reseau, de la capacité de celui ci, et de tout un tas de paramettres :)

L'ideal serait que tu ait un monitoring assez complet derrière, effectivement voir s'il y a des changement, mais surtout regarder l'évolution de nombre de client, des volumes, et de la durée des transferes, avec ça si tu vois que le volume global double tout les mois, par exemple, et qu'il te faut actuellement 6h00 pour tout completer, tu sauras que dans un mois, grossomodo il te faudra 12 heures... , la difficultée va plus être de prévoir suffisament à l'avance l'ajout de machine que l'ajout des machines lui même.

De même si tu vois qu'un mec double son volume tout les jours, faut l'alerter, ça s'est vu, des mecs qui par précaution font leur sauvegarde, mais sauvegardent bêtement tout y compris les sauvegardes passées ;-)

Bref, c'est plus le monitoring qui sera important quoi :)
0
mr_poussy Messages postés 2735 Date d'inscription vendredi 24 août 2001 Statut Modérateur Dernière intervention 27 février 2013 61 > asevere Messages postés 13084 Date d'inscription lundi 28 janvier 2002 Statut Webmaster Dernière intervention 3 février 2022
13 mai 2009 à 14:47
yep,

tiens pour me confirmer :

voila disons que je part sur 400 utilisateur simultané. un bon upload adsl aujourdh'ui se situe dans les 100Ko/s.

je devrait donc disposer pour ce nombre d'utilsateur d'une bande passante de 40000 Ko/s soit 312.5 Mbps ?

mes calculs sont exact ?

si c'est le cas je vais reduire mon nombre d'utilisateur simultaner pour ne pas depasse les 100 Mbps seconde assuré qui vont deja me couter bonbon ..

et pour repondre a ta remarque, je prevois de limiter l'espace de sauvegarde a 500 Mo voir 1 Go par utilisateur.

Il s'agit de sauvegarde administrative (compta, fichier excel) et pas de données perso (photo, musique). Apres si je maitrise bien l'évolution je lâcherait peut etre la bride sur l'espace de sauvegarde.

qu'en pense tu ?
0
asevere Messages postés 13084 Date d'inscription lundi 28 janvier 2002 Statut Webmaster Dernière intervention 3 février 2022 426 > mr_poussy Messages postés 2735 Date d'inscription vendredi 24 août 2001 Statut Modérateur Dernière intervention 27 février 2013
13 mai 2009 à 15:16
Pour ton calcul à quelques chouillasbits près ça doit être ça :)

Effectivement, c'est pas bête de limiter l'espace dans un premier temps pour voir comment ça se comporte...

A plus Poussy, tu nous tiens au jus!
0
jipicy Messages postés 40842 Date d'inscription jeudi 28 août 2003 Statut Modérateur Dernière intervention 10 août 2020 4 895
13 mai 2009 à 14:05
En tout cas ça m'a l'air de coller à ta demande 1ère :

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : y a de la place dans la file d'attente et je ne suis pas surchargé. OK tu peut te lancer.
mon client : OK je lance le client ftp.

ou

mon client : je viens de démarer et je voudrais lancer ma sauvegarde
mon serveur : houla la file est pleine et il y a trop de connexion ssl. ressaye dans 5 minutes.
mon client : OK je refait une demande dans 5 min.


Tiens-nous au courant si ça gaze (et même si ça gaze pas) ;-))
0