Modo protegido, dolor de cabeza

[lweb20]

Hola que tal jeje. Soy yo de nuevo, me pareció muy creativo el título.

Llevo ya varios meses con el desarrollo de un sistema operativo en 32-bits en modo protegido (obviamente) y quisiera aquí tratar todos los problemas y pequeños detalles (trataré) sobre el modo protegido.

Este post va a ser un poco informativo pero va a haber más preguntas que respuestas. Quiero aclarar que no soy un experto pero no puedo negar que se aprende muchas cosas en el transcurso del camino. No quiero caer mal ni mucho menos quiero ofender a alguien.

¿Por qué elegí 32-bits?
- Porque 16-bits es muy limitado y vulnerable a ataques de aplicaciones al hardware (modo real)
- Porque la mayoría de lenguajes de alto nivel (que son los más fáciles de programar a mi parecer) usan 32-bits. Aclaro que gcc existe una forma de usar 16-bits

Características principales del modo protegido de 32-bits
- No interrupciones de la BIOS (que miedo :S)
- Puedes crear tus propias interrupciones
- Prácticamente 2 niveles de acceso (sistema* y usuario - ring0 y ring3)
- Entre otros que poco a poco voy a ir comentando

Lo interesante del modo protegido
- Crear drivers (controladores)
- Entrar y salir del modo usuario
- Multitarea
- Acceso directo a la memoria (modo sistema*)
- Posibilidad de usar out para enviar comandos a dispositivos (*)
- Manejo avanzado de energía (APM, ACPI)
- Ejecutar aplicaciones de distintas unidades de almacenamiento
- Crear uno mismo sistemas de archivos (hechos y propios)
- Modo virtual

Mis dudas
Aquí si pido ayuda si alguien tiene alguna idea de lo que hablo. Disculpen si son muchas pero llevo tiempo con estas dudas y he tenido más que he ido solucionando poco a poco.

- Entrar al modo virtual y salir (ejecutar alguna interrupción de la BIOS)
- Salir del modo usuario (ya sé entrar )
- Ejecutar programas PE (los básicos, buscar el main y ejecutarlo)
- Necesito un manual de hardware del modo protegido. Sobre todo usando el in y el out.


Gracias por leer y disculpen la molestia. Sé que no es su obligación contestar y si podría poner puntos lo haría



Nunca edito mis mensajes

* creo

[Eternal Idol]

http://en.wikipedia.org/wiki/Protected_mode
http://wiki.osdev.org/Protected_Mode
http://www.rcollins.org/articles/pmbasics/tspec_a1_doc.html

http://wiki.osdev.org/Virtual_8086_Mode

Para salir de modo Usuario (o entrar a modo Kernel) podes usar o una interrupcion o alguna de las instrucciones de llamada rapida como sysenter/syscall.

Para ejecutar un PE verdadero tenes que implementar como minimo la NTDLL.dll y para cualquier cosa normal Kernel32.dll y otras. Tendrias que hacer un Loader como el de Windows que cargue las secciones en donde corresponda, que resuelva las funciones importadas ... y mil cosas mas realmente.

http://wiki.osdev.org/Main_Page

[lweb20]

no no yo me refiero un PE simple a esto por ejemplo:

int main(){
   char* stringToPrint = "hola";
   _asm{
      xor eax, eax
      mov ebx,[stringToPrint]
      int 0x80
   }
   return 0;
}

es decir ninguna librería de windows.

Para salir de modo Usuario (o entrar a modo Kernel) podes usar o una interrupcion o alguna de las instrucciones de llamada rapida como sysenter/syscall.

- ¿Ejecutar una interrupción? no te entiendo, disculpa. Se puede ejecutar una interrupción en modo usuario pero la pregunta es cómo salir del modo usuario.
- sysenter/syscall háblame un poco más de eso.

Lo que quiero hacer es ejecutar un programa (monotarea) en modo usuario y luego retornar a modo kernel. ¿Se podrá?

[~]

Por experiencia puedo decir que este es un punto de entrada muy inadecuado para tratar de implementar un sistema operativo.

Por este camino, uno podría tardarse años literalmente (más de 5) para apenas comenzar a crear un sistema operativo.

Lo más que se podría lograr es crear uno simple.

Pero el peligro es desilusionarse después de varias iteraciones de reescribir todo desde cero, y todos estos consejos que doy son para evitar eso. Por supuesto yo no me he desanimado porque realmente quiero aprender las cosas más avanzadas.

También estoy en el foro de OSDev.org y OSDever.net, y he llegado a aprender que por más ayuda que uno reciba ahí, necesitará otras fuentes con información más abundante y a un nivel más manejable (además de que lastimosamente la Wiki parece haber sido escrita originalmente por gente con una actitud de que todo es difícil en extremo, pero sin intentar dar realmente suficiente código o pistas para solucionarlo en la práctica).

De esa forma es como yo creé un sistema operativo extremadamente simple de 32 bits, tal vez el sistema de 32 bits didáctico pero útil más entendible que se podría encontrar. Le di el nombre de LowEST Kernel.

Discusiones del Proyecto de LowEST Kernel, Nivel 1 (32 bits)

Código Fuente del Kernel de LowEST, Nivel 1 (32 bits)

Realmente he tenido mucha diversión experimentando controlar y detectar discos IDE y ATAPI, y SATA, controlar floppies, el teclado, el speaker, la VGA estándar, etc.

Yo aprendí Ensamblador en 6 meses con el libro de Charte Ojeda, y después de eso aprendí a usar las interrupciones de modo protegido en 1 semana. Después otra semana para comenzar a manejar el teclado, y muchos meses más para manejar el CD-ROM (pero sin leerlo), y en muchos años más para aprender sobre muchas otras cosas, aunque son tantas que en su mayoría solo a nivel superficial.

Lo que mi kernel puede hacer formalmente (y que puedo ayudar a explicar con mayor simplicidad que otras fuentes) es:

• Bootear desde un floppy con FAT16.
  
• Driver del teclado que reconoce Ctr+Alt+Del y Shift.
  
• Consola de texto tipo MS-DOS, con soporte para agregarle comandos internos.
  
• El kernel puede correr programas del floppy leyendo el directorio raíz del FAT12 y usar funciones importadas del kernel, lo que lo hace ideal para extender pruebas adicionales de bajo nivel en tiempo de ejecución.
  

Estoy seguro de que puedo ayudar, siempre y cuando se trate de preguntas y un estudio suficientemente extendido, en lugar del típico enfoque de los principiantes de "¿Cómo hago X cosa?" pero sin realmente darse a entender de forma más completa, en el resto de aspectos, casi como en un tutorial formal.

De lo contrario, a menos que uno tenga conocimiento y acceso excepcional a información enriquecida, cualquier otro enfoque puede tardarse años, si es que el aspirante no se rinde antes de tantos años.

[lweb20]

Gracias por eso, no me lo esperaba (en serio), lo revisaré en el transcurso del mes.

Bueno, seguía con mi pregunta actual:

Si no es posible salir del modo usuario (que por simple lógica mía es cierto) se usan las interrupciones del IVT (¿cierto?) pero no creo que se puedan ejecutar operaciones administrativas y para ello supongo que la instrucción sysenter/syscall lo soluciona pero cómo hago aquello ya que todo lo que he encontrado es sobre linux.

En cuanto a "~" no espero crear un gran SO de golpe. Ese es mi lema o algo así. Si quieres algo grande debes ir de lo más minúsculo e ir creciendo POCO A POCO hasta lograr aunque sea tus objetivos (y lo digo así porque en el camino se descubren cosas nuevas). Uno no puede hacer todo solo pero sí aunque sea el inicio.

Mi kernel está hecho en C++ (casi todo es C) y muy poco asm. Sé que el asm es más rápido porque usa registros del CPU y no variables (mayormente) pero C++ es mucho más fácil de comprender ya que tiene una mejor organización (para mi).

[~]

Tal vez sería mejor desarrollar el tutorial de JamesM (James Molloy) para tener una base más sólida de conocimiento. Sé que lo voy a estudiar debido a preguntas como esta.

Especialmente la sección de llamadas de sistema:

10. User Mode

Aquí una porción de información importante:

Llamadas de Sistema

El código que corre en modo usuario no puede correr código que está en, o accede, un área solo de supervisor (mira las banderas de entrada de tabla de páginas) ni ningún código que se instrucciones privilegiadas tales como HLT. Por lo tanto, la mayoría de kernels proporcionan una interfaz por la cual funciones comunes pueden ejecutarse. Una llamada del kernel a través de esta interfaz es llamada "llamada de sistema" o "system call".

La manera histórica, simple, y aún usada ampliamente para implementar llamadas de sistema en x86 es usar interrupciones de software. El programa de usuario establecerá un registro para indicar qué función de sistema desearía ejecutar, luego establecer parámetros en otros registros. Entonces ejecutaría una interrupción de software a un vector específico - Linux usa 0x80. La interrupción de software causa un cambio de modo al ring 0 - el kernel tendrá un manejador para este vector de interrupción, y despachará la llamada de sistema apropiadamente.

Algo importante a notar es que el kernel, cuando ejecuta código de manejo de interrupciones, requiere una pila válida con la cual trabajar. Si no tiene una, el procesador generará un double fault (y eventualmente un triple fault porque el manejador de double fault también necesita una pila válida). Esta sería obviamente una manera muy fácil por la que un usuario malintencionado podría bloquear tu sistema, así que es práctica normal cambiar a una nueva pila, en el momento de cambio demodo de ring 3 a ring 0, diseñada solamente para ser usada por el kernel, y que se garantiza que es válida.

Obviamente si deseas que tu kernel sea multitareas/preemptible (es decir, si deseas ser capaz de cambiar de tareas mientras ejecutas código dentro del kernel), necesitarás una de estas pilas de kernel por tarea, o terminarás sobreescribiendo los datos de una tarea cuando ejecutes otra tarea.

Es natural que casi solo haya material sobre Windows y Linux, no para un kernel personalizado, así que hay que partir de esa información y de los manuales de Intel.

Pero sí es algo bastante difícil de lograr, especialmente si no se tiene más base de código que la de unos pocos meses (y casi imposible de lograr de forma sostenible con dudas de información incluso de cómo programar los puertos de Entrada/Salida).

Los manuales de Intel son todo lo que se necesita para entender de manera detallada esas cosas. Y después vienen muchos tutoriales y otros estándares:

Manuales de Intel (comenzar por 25366617_2A.pdf, 25366717_2B.pdf y 25366517_1.pdf)

___________________
___________________
Y sobre terminar de golpe un sistema operativo, no se trata de eso, pero la actitud de tener que avanzar "poco a poco" es inadecuada (la actitud de "si es algo difícil debe tardarse tanto como sea posible" en lugar de "las cosas más difíciles deben buscarse por los medios más abundantes y comenzar a implementarse por lo que se necesita de forma más inmediata, más que hundirse en un mar de teoría que no es inmediatamente aplicable").

Es mejor decidirse a avanzar con mayor rapidez y en cosas inmediatamente aplicables tanto en sistemas operativos y en la programación normal, y recibir ayuda de otros (además de dar cualquier ayuda que se pueda a otros como colectivo), y hacer un esfuerzo concreto en el presente, pero inteligente y reusable, en lugar de pasar años en los fundamentos, en lugar de usar ese tiempo en lograr implementar algo usable que permita avanzar de forma mucho más eficiente. Algo difícil en extremo de lograr para la mayoría de principiantes.

Esto es lo que puedo decir de muchos años de estar en el esfuerzo de tratar de aprender sobre el desarrollo de sistemas operativos.

[Eternal Idol]

no no yo me refiero un PE simple a esto por ejemplo:

int main(){
   char* stringToPrint = "hola";
   _asm{
      xor eax, eax
      mov ebx,[stringToPrint]
      int 0x80
   }
   return 0;
}
es decir ninguna librería de windows.

Es que eso solo en algunas versiones de Windows ni es un PE valido (al no importar ninguna funcion de ninguna DLL). Ademas es puro inline assembly ... pero bueno.

- ¿Ejecutar una interrupción? no te entiendo, disculpa. Se puede ejecutar una interrupción en modo usuario pero la pregunta es cómo salir del modo usuario.
- sysenter/syscall háblame un poco más de eso.

Si, ya te confirmaron lo que te decia, los SOs modernos en modo Protegido pasan al Kernel desde los programas (modo Usuario) con una interrupcion (Linux 0x80, Windows 0x2E) o con instrucciones de llamada especificas (estas son mas modernas asi que antes se usaba siempre una interrupcion). Aca tenes un poco al respecto orientado a Windows:

http://www.codemachine.com/article_syscall.html

Lo que quiero hacer es ejecutar un programa (monotarea) en modo usuario y luego retornar a modo kernel. ¿Se podrá?

Si, seguro, incluso de la misma forma, asi es se termina un programa sin ir mas lejos ExitProcess termina haciendo una llamada al sistema y se supone que en Linux esta la sys_exit para eso mismo (en este SO no tengo mucha experiencia).

[lweb20]

Es que eso solo en algunas versiones de Windows ni es un PE valido (al no importar ninguna funcion de ninguna DLL). Ademas es puro inline assembly ... pero bueno.

La idea de ejecutar el formato PE no es cargar sus librerías en la memoria y hacerlo todo como Windows (por decirlo así), más bien es crear un programa en Visual Studio y poder ejecutarlo desde mi sistema operativo; ya que me parece mucho más sencillo el asm inline de Visual Studio que el de gcc (y además es mi IDE favorito).

En cuanto a lo del syscall ya entendí. Déjenme solucionar algunos problemas con mi so. He detectado varios al desactivar la optimización: problemas con el stack, etc..

Ahora la última pregunta hasta que regrese de solucionar estos problemillas: ¿es posible ejecutar una interrupción que ejecute operaciones administrativas del IVT desde el modo usuario (RING3)? Tengo claro que sí es posible ejecutar una interrupción desde el modo usuario, lo que no tengo muy claro es por ejemplo si mediante esa interrupción puedo por ejemplo cargar una nueva GDT, o reiniciar el sistema (administración del sistema, por decirlo así). Ahora esto lo puedo detectar cuando solucione problemas que tengo al entrar al modo usuario, que extrañamente ya no me funciona (se queda colgado o sino error de protección general). Hasta pronto.

[Eternal Idol]

La idea de ejecutar el formato PE no es cargar sus librerías en la memoria y hacerlo todo como Windows (por decirlo así), más bien es crear un programa en Visual Studio y poder ejecutarlo desde mi sistema operativo; ya que me parece mucho más sencillo el asm inline de Visual Studio que el de gcc (y además es mi IDE favorito).

Podes usar MASM directamente en ese caso, lees un par de estructuras y encontras el Entry Point del ejecutable.

Ahora la última pregunta hasta que regrese de solucionar estos problemillas: ¿es posible ejecutar una interrupción que ejecute operaciones administrativas del IVT desde el modo usuario (RING3)? Tengo claro que sí es posible ejecutar una interrupción desde el modo usuario, lo que no tengo muy claro es por ejemplo si mediante esa interrupción puedo por ejemplo cargar una nueva GDT, o reiniciar el sistema (administración del sistema, por decirlo así). Ahora esto lo puedo detectar cuando solucione problemas que tengo al entrar al modo usuario, que extrañamente ya no me funciona (se queda colgado o sino error de protección general). Hasta pronto.

Si, lo que haces es PASAR a modo Kernel: el manejador de la interrupcion.

[~]

Yo quiero ayudar de forma práctica y real, así que pido por favor poner todas las referencias y URLs que han servido para implementar ese kernel.

• ¿Dónde está la información que se usó para crear el kernel básico?
  
  
• ¿Dónde está la información que se usó para pasar a modo de usuario?
  
  
• ¿Dónde está la información que se usó para correr aplicaciones?
  
  
• ¿Qué otra información se usó?
  

Con esto se puede garantizar ayudar de forma excepcionalmente más fácil, y compartir conocimiento a nivel de implementación, más allá de la teoría cruda.

Yo también pongo unas referencias en este momento, sobre lo que me sirvió para lograr crear programas PE 100% en ensamblador, sin ayuda de ninguna otra librería ni herramienta.

TinyPE (vital)
Todos los artículos de Matt Pietrek sobre PE
Las especificaciones PE/COFF

Gracias a esto puedo crear archivos ejecutables de Windows, desde Windows, DOS o Linux, o cualquier otro sistema que tenga NASM, y sin tantas herramientas.

La idea de ejecutar el formato PE no es cargar sus librerías en la memoria y hacerlo todo como Windows (por decirlo así), más bien es crear un programa en Visual Studio y poder ejecutarlo desde mi sistema operativo; ya que me parece mucho más sencillo el asm inline de Visual Studio que el de gcc (y además es mi IDE favorito).

¿Para qué usar Visual Studio solo para crear un Portable Executable? Es posible que le agregue mucha basura. Yo prefiero crear los PE directamente con ensamblador, 100% sin linkers ni compiladores.

Aquí tengo una muestra de lo que estoy hablando:

cuentareloj.asm

Este programa lo ensamblamos así:

nasm cuentareloj.asm -o cuentareloj.exe


Este incluso se genera automáticamente conteniendo el icono mostrado antes, sin usar linkers ni GCC ni muchísimo menos Visual Studio, y contiene todo lo que seguramente se necestaría para lo que se quiere lograr aquí.


Esto no quiere decir que no pueda usar GCC y NASM, y evitar también el ensamblador inline de GCC. Después de todo es lo más conveniente (comenzar creando programas desde cero por uno mismo) porque de todas maneras uno va a tener que crear un loader capaz de entender el formato.

Otros también recomendarían más darle soporte a los ejecutables ELF, y también sería una buena idea, dado que muchos programas open source y librerías probablemente corran mejor (sin bugs extraños) si simplemente se compilan a ELF.

En cuanto a lo del syscall ya entendí. Déjenme solucionar algunos problemas con mi so. He detectado varios al desactivar la optimización: problemas con el stack, etc..

Ahora la última pregunta hasta que regrese de solucionar estos problemillas: ¿es posible ejecutar una interrupción que ejecute operaciones administrativas del IVT desde el modo usuario (RING3)? Tengo claro que sí es posible ejecutar una interrupción desde el modo usuario, lo que no tengo muy claro es por ejemplo si mediante esa interrupción puedo por ejemplo cargar una nueva GDT, o reiniciar el sistema (administración del sistema, por decirlo así). Ahora esto lo puedo detectar cuando solucione problemas que tengo al entrar al modo usuario, que extrañamente ya no me funciona (se queda colgado o sino error de protección general). Hasta pronto.

Claro que es posible, como se explicaba en el tutorial de JamesM y en muchas otras referencias.

Pero es seguro que esos problemas no sean tan pequeños como parecen.

El problema es que entrar en modo usuario y en multitareas puede ser educativo, pero si estamos en la misma situación en la que yo estuve, sería un error, sería contraproducente pasar tan rápido a modo usuario sin tener un sistema sólido sobre el cual trabajar.

Esto hará mucho más difícil, casi imposible, aprender a usar paginación e implementar permisos apropiadamente, o administrar el hardware, o usar algoritmos ya avanzados sobre administración de memoria.

Es mejor seguir en modo kernel, y documentar todo el diseño y trucos de hardware, y seguir aprendiendo. Esto es lo que yo he estado haciendo, y sé que de esta forma no puedo perder el tiempo reescribiendo todo cuando se vuelva un desastre.

En este momento, es más útil implementar las capas de bajo nivel, no sirve de nada para llevar a cabo ese tipo de programación, y dejar el modo de usuario hasta el final (puede ser más difícil y ligeramente educativo, pero puede ser un enorme estorbo para consolidar un kernel).