SSHの暗号化方式をarcfourにすると結構速くなる(デフォルトはAES)。ただし、安全性は下がるから気をつけて使おう。

rsync -avz -e 'ssh -c arcfour' frompath/ topath

参考： rsyncを高速に