Bueno, realmente pensé que daría igual que lo abriera en modo escritura y que se leeria igual, pero al parecer no.
Al final hice esto:
Dim cifra As New System.IO.StreamReader("c:\cifra.txt")
TextBox1.Text = cifra
Al final hice esto:
Dim cifra As New System.IO.StreamReader("c:\cifra.txt")
TextBox1.Text = cifra