Моя проблема была с .ssh / authorized_keys, у меня было две записи для моего клиента, первой была та, которую я добавил, чтобы разрешить вход без пароля. Вторым был авто-вход, сгенерированный с помощью житоза. Удаление первого из них решило мою проблему.