Mi duda es cuando se tiene toda una oracion, en la cual, no se tiene espacios entre las palabras ¿Como deberia realizar el analisis?
Por ejemplo: holabuendia separarlo en hola buen dia.
por comparación... usualmente las computadoras no son buenas haciendo esto, pero un metodo es darle un peso a cada palabra (entre más alto el valor implica más común en cualquier texto) y lo haces por coincidencias en relación al peso... si no, coincidencia por orden ortográfico y listo
Es mucho mas complejo de lo que parece, el mirar "trozo a trozo" puede ser útil en ocasiones, pero puede darse perfectamente el caso de que se pueda separar en diferentes palabras de forma errónea.
Por ejemplo "Desdeñar"... ¿separas "desde" del resto?. Obviamente no, pero ¿tienes todas las palabras posibles para saberlo?