Duda al obtener datos por socket en adaptador RS-232/RJ-45

[gualcot]

Hola a todos.
Necesito obtener los datos del puerto tcp de un adptador serial/tcp. Lo estoy logrando con TcpClient y NetworkStream.
Mi problema es que al leer los datos del buffer (ns.Read(buffer, 0, buffer.Length)) no llega a cargar todos los datos enviados a el puerto serial del adaptador.
Si antes de la línea del Read coloco un Sleep(500) si funciona correctamente.
Porque es, la verdad que me gustaría saber, pero más me gustaría saber como solucionar eso.
Les comento que lo que recibe el serial del adaptador son paquetes ASTM por lo que necesito validarlos según el protocolo y enviar un acuse.
Estoy usando .net 4.0.
Saludos.