Como indicas, debes utilizar un alias para volver a utilizar de nuevo la tabla usuario y poder enlazar otra vez. Si no he interpretado mal, podría quedar así:
Código (sql) [Seleccionar]
SELECT usuario.idusuario, usuario.nombreapellidos as nombreusuario, usuarioamigos.idamigo, usuario2.nombreapellidos AS nombreamigo
FROM (usuario INNER JOIN usuarioamigos ON usuario.idusuario= usuarioamigos.idusuario)
INNER JOIN usuario usuario2 ON usuarioamigos.idamigo = usuario2.idusuario
ORDER BY usuario.idusuario,usuarioamigos.idamigo