En un router que estoy usando como repetidor hay alguna forma de limitar los datos wifi de manera que cuando se consuman por ejemplo 10gb se corte la conexión?
Mira todas las opciones del router. Checkea si tiene algún panel extra oculto con opciones muy avanzadas. No es el mismo que al que suelen llamar "avanzado" que es para que el usuario medio se entretenga.
Si no tienes esa opción, o pones un equipo de proxy, o compras un router que trae administración de quotas, o instalas algún firmware opensource.
Tienes Gargoyle basado en OpenWRT que te trae manejo de quotas.
https://birrraus.com/2015/11/07/controlling-internet-data-usage-with-gargoyle-router/