SSH sem senha diminui uma amarras do SSH, a senha da chave privada. Qual é o problema de rodar um ssh-agent na máquina?

Pelo que eu entendi, não é inseguro. Como a autenticação é feita por chaves, basta você garantir a segurança física da chave privada (no caso do autor, deve ficar na máquina dele). Claro que ele tomou dois cuidados extras: primeiro usou um shell restrito, impedindo que, na improvavel hipótese de alguém usar a chave para entrar no sistema, tivesse acesso a todas as funções do shell; e segundo, usou a diretiva “command=”, que limita os acessos através daquela chave à execução de apenas aquele comando.