Como dice Tzhed, cualquier distro la puedes usar sin entorno grafico.
De todas formas, si buscas alguna que directamente te cargue en "modo consola" sin tener que modificar nada, instalate Slackware.
Instalalo, configura el xorg y listo, simplemente cuando quieras iniciar las X escribes "startx" y listo
De todas formas, si buscas alguna que directamente te cargue en "modo consola" sin tener que modificar nada, instalate Slackware.
Instalalo, configura el xorg y listo, simplemente cuando quieras iniciar las X escribes "startx" y listo