Madre mia, es que con ese esquema de red lo único que vas a hacer es entorpecer todo el tráfico. Los routers deben ir conectados directamente a la maquina que hace el balanceo de forma separada. Si vas a enviar a la máquina dos ISP por una única tarjeta de red estas creando un cuello de botella colosal.