[Python] - Partager puissance calcul python en réseau

Bonjour,

Ça dépend de ce que tu veux faire et du programme, car :

• Pour "déplacer un programme" d'un ordinateur à un autre, il faut sauver son état et le reprendre sur l'autre machine (voir cette discussion) ;
• Pour partager un programme, il faut définir des tâches indépendantes que tu pourras éventuellement répartir sur plusieurs threads vue de les réunir (cf n'importe quel tutoriel sur la parallélisation ;
• Tu peux imaginer concevoir ton programme de sorte à ce que plusieurs serveurs (les machines qui vont faire les calculs) puisse recevoir de la part d'un client des tâches à réaliser. Charge à ton programme (côté client) de recoller les morceaux une fois les calculs terminés.

Il existe aussi des solutions qui évitent de se poser ce genre de question : travailler sur une architecture comme https://colab.research.google.com/ 

Après, vus les temps de calculs que tu annonces, il faut aussi se demander dans quelle mesure les calculs que tu tentes de faire sont raisonnables (voir complexité algorithmique du programme exécuté + taille de l'instance). Parfois le problème est en lui-même difficile, parfois le problème n'est pas difficile mais l'algorithme utilisé pour le résoudre est mal conçu et coûte beaucoup plus cher que ce qu'il devrait coûter.

Prenons deux exemples :

1. Le problème du calcul de plus court chemin dans un graphe : une manière naïve de résoudre ce problème consiste à énumérer les chemins et sélectionner le plus court. Mais le nombre de chemin à énuméré croit exponentiellement avec la taille du graphe. Cependant, le problème est dit facile, car en exploitant les propriétés du problèmes, on peut le résoudre en temps polynomial (voir par exemple  l'algorithme de Dijkstra). Dit autrement le problème est facile (car il se résout en temps polynomial), mais si l'algorithme est mal conçu, le coût de ce dernier peut être exponentiel.
2. Le problème de coloration d'un graphe est NP-difficile, ce qui signifie que le problème est "compliqué" et qu'à moins que P=NP, tu ne peux pas trouver d'algorithme polynomial et donc que le problème ne pourra pas être résolu avec un algorithme polynomial. Si en soi, un machine est tout à fait possible de résoudre ce problème pour une "petite" instance, cela risque d'être beaucoup trop coûteux en temps de calcul pour une "grande" instance.

Bonne chance

bonjour,

Plutôt que de voir cela comme un partage de puissance de calcul, il est préférable de voir cela comme une distribution de tâches.

Si tu peux découper le travail en tâches indépendantes, chaque ordinateur disponible peut effectuer une tâche, et renvoyer le résultat.

Ton défi, c'est donc de trouver une façon de découper ton problème en de multiples taches indépendantes.
 

Les threads Python ne travaillent pas simultanément.  Regarde plutôt multiprocessing.

Dans les clouds, tu peux louer une machine à multiples processeurs, qui te permettra sans doute d'exécuter rapidement ton programme adapté au multiprocessing.