Duda acerca de convertir un bitstream de .264 a .MP4

[Songoku2014]

Hola a todos!

Estoy escribiendo un programa para adjuntar un bitstream raw de H264 adentro de un contenedor de MP4.
De acuerdo a los estándares de H264, he escrito un programa para encontrar los NALU's adentro del stream con la motivación básica de encontrar donde empieza la data del video.
Luego del SPS, PPS, y SEI, y las cabeceras que están después del NALU son de tipo 5 nal y encodeado en IDR/no-IDR

Asi que la forma que estaba pensando en escribir mi programa es itinerando a travéz del bitstream y cortar las cabeceras y empezar a pasar los datos al encoder de MP4 en el momento que encuentre el NAL tipo 5.

Es está la forma correcta o debería buscar en otro lado?

Otro problema es que la API de encodeo de MP4 que estoy usando requiere un frame by frame, y por lo tanto necesita saber el tamaño del frame. Aunque solo puedo extraer el tamaño de NALU. Es el tamaño del NALU igual al tamaño del frame o solo puedo salirme con la mía haciendo el mismo frame size que el encoder?

Estoy preguntando esto porque he encodeado un video YUV 5 frames a .264 y encontré que hay 5 NALUs tipo 5 unidades adentro. Aunque no quiero llegar a conclusiones por mi cuenta.

Disculpen mi ignorancia. Soy nuevo en esto de encodeo.