Для подключения к серверу с приватным ключем - нужно использовать опцию -i и путь к самому ключу:
# ssh -i /root/ssh-rsa.key root@xx.xx.xx.xx