Mencionas anaconda pero no dices nada de pyenv... es bastante liviano y hace precisamente lo que tu quieres.
https://github.com/pyenv/pyenv
https://github.com/pyenv-win/pyenv-win
Saludos
https://github.com/pyenv/pyenv
https://github.com/pyenv-win/pyenv-win
Saludos