C'est possible et ca doit etre fait par les utilisateurs individuellement. Si ce n 'est pas deja fait il faut d'abord creer sur chaque pc (client et serveur !!) un repertoire "~/.ssh" dans le home de l'utilisateur avec les bonnes permissions, seulement "rxw" pour l'utilisateur et RIEN pour le groupe et les autres:

cd ~
mkdir .ssh
chmod 700 .ssh

).
Apres il faut creer sur le pc client une paire de cles privee-publique avec la commande: "ssh-keygen", peut-etre il faut y mettre les bonnes options, regarder soi meme avec "man ssh-keygen". Ce truc cree dans le dossier .ssh (sur le pc client !!) deux fichiers:
id_rsa => ca c'est la cle prive qui ne doit jamais quitter le pc client, et:
id_rsa.pub => ca c'est la cle publique qui va avec l'autre cle prive.

Apres il faut copier le fichier "id_rsa.pub" sur le pc serveur (on peut le faire par "scp" en mettant encore une fois le mot de pas) et sur le pc serveur il faut aller dans le dossier ~/.ssh et ajouter la ligne texte du fichier "id_rsa.pub" dans le fichier: "authorized_keys" avec:

cat id_rsa.pub >> ~/.ssh/authorized_keys

(ceci revient a creer le fichier "authorized_keys" s'il n'existe pas deja, sinon ca y ajoute la ligne avec la nouvelle cle publique).
Une fois c'est fait on pourra faire depuis le pc client un "ssh <nom_pc_serveur>" (ou un "scp ...", "sft ...") sans etre oblige de taper le mot de pass. En principe il faut refaire cette manipe pour chaque pc client qu'on souhaite utiliser sans mot de pass.

A savoir: si le fichier de la cle publique (le "id_rsa.pub") est perdu, c.-a-d. "vole" ou "copie" par quelqu'un d'autre ce n'est pas grave. Ca permettrait theoriquement au voleur de donner un acces a l'utilisateur victime (du vol) au pc du voleur mais pas a l'inverse (le voleur n'aurait pas acces au pc serveur sur le compte de l'utilisateur victime, pour ca il lui manque la cle privee). Pour la securite il faut eviter de se faire voler la cle prive (le fichier "id_rsa" qui est reste sur le pc client). Si toute fois ca arrive il faut effacer la ligne de la cle publique dans le "authorized_keys" sur le serveur et refaire la manipe en recreant une nouvelle pair de cles.

En theorie on pourrait copier la cle prive creee sur un pc client vers d'autres pcs client pour utiliser la meme cle pour se connecter mais ce serait une mauvaise chose a faire car l'operation de copie (entre deux pcs) est potentiellement un risque. La bonne facon de faire est de creer pour chaque client une nouvelle paire de cle et faire en sorte que la cle prive ne quitte jamais le pc client et d'ajouter la cle publique au "authorized_keys" sur le serveur (qui contiendrait ainsi beaucoup des lignes pour differentes cles, une cle par client).