que disent les logs?
Il est possible que ce soit un problème de droits trop élevé sur les clés du serveur.
Si tu as possibilité d'y accéder d'une autre manière, tu peux toujours démarrer un deuxième serveur ssh à la main pour voir les erreurs qu'il fait.

un truc du type: