¿Cómo funciona realmente la indexación de páginas de los buscadores?

[gothic_krow]

Buen día tarde o noche a todos.

Para nadie es un secreto como se puede usar un "dork" para encontrar vulnerabilidades en páginas web, archivos con valiosa información (sql, txt etc) y esto es lo que lleva a formularme una pregunta, ¿Cómo funciona la indexación de los buscadores? en google hay un vídeo donde explica que un "bot"  se encarga de seguir enlace por enlace y los mapas de sitios para poder crear su índice. Pero entonces, ¿Cómo puede localizar archivos que realmente no estén vinculados (como los ya nombrados sql, txt, páginas de login y demás)?

Espero haber sido claro con mi pregunta.