Cuanto costaria la supercomputadora mas potente del mundo

[FreeCellnet]

Sabiendo que la mas potente del mundo es de 200 petaflops...

2X Nvidia  RTX3080 + AMD ryzen 9 3900X + Motherboard X570 +Fuente alimentacion + memoria .

739€X2 + 450€ + 150€ + 150€ + 80€ = 2300€ tiene 62 TFLOPS, ya que las graficas aportan 29.77 por unidad, mas los 2,6TFLOPS de la cpu 3900X,

Los consumos son 320W X2 + 100W == en total una fuente de alimentacion de 1000W de 150€

2.000.000€ de los cuales 600.000€ se van para instalacion electrica y material adicional.

1.400.000€ / 2300€/ud = 608 uds = 600Uds x 62TFLOPS = 37.2Petaflops = 600.000W --> 16W/TFLOP


2.000.000€/37.200.000 = 5.37cents/GFLOP

Multiplicamos por 10 veces la instalacion anterior

14.000.000€/2300€ = 6080 = 6000Uds = 6MW = 372Petaflops

Por casi 20 millones de Euros tienes la computadora mas grande del mundo , necesitas 12 transformadores de 500kW, pero no consumen 1000W por unidad, eso es la fuente de alimentacion , solo 750W por unidad

Ahora mi pregunta es ¿porque el mayor del mundo ha costado 500 millones de dolares?

En el caso del supercomputador japones, puede llegar al hexaflop, en nuestro caso seria multiplicar por 3 los 372 petaflops, y en vez de 20 millones de euros serian 60 millones de euros.

serian 60 millones de euros 18.000uds a 18MW, 36 trafos independientes de 500.000kW cada uno.

El espacio seria de 1m2 por cada 8 uds, es decir 2250m2, o 10 plantas de 225m2, que seria 364.000 € por planta, pongamos 3.640.000€ por planta, al estar en el centro de alguna ciudada para la conexion de fibra. en total a parte de los 60 millones otros 36 millones, solo estariamos en los 100 millones ... y ya tendriamos 3 X 372 Petaflops, un total de 1116 petaflops

Porque para 200 petaflops , puede llegar a costar 500 millones de euros?

Y aun así sigue constando en las noticias 5 veces mas hacer una computadora con la misma potencia, yo no se donde va tanto dinero...


Estamos hablando de flops FP32 no FP64, o esque acaso ellos lo calculan con FP64 , doble coma flotante,

bueno no seria posible en una ciudad centrica, debido a que no es posible una conexion de 18MW, lo decia por la conexion a red, pero tampoco creo que la diferencia de 100 millones a 500 millones sea el precio de los que cuesta la fibra red conexiones y pagar al personal para conectar 18.000 computadoras...


Tambien es cierto que si un inversor quisiera invertir en una supercomputadora, le harian rebaja del precio de los componentes al comprar tantos, y probablemente al ir 2 targetas graficas por cada ud, seria imposible abastecer un stock de 36.000 tarjetas rtx3080, ademas, desde el 2019 que salio la rt5700xt de 10TFLOP por 369€ a esta rtx 3080 de 739€ que es de casi 30TFLOPS y que salio hace poco, solo a pasado 1 año, por lo tanto, si te esperas otro año igual la potencia se incrementa tres veces mas con la nueva generacion...


Yo creo que las mayores supercomputadoras estan al llegar, porque el que espera y tiene pasta, gana en el ranking, hasta que dentro de 2 años , se lo quiten

Nota: este estudio, se ha hecho calculando la CPU mas barata respecto de su potencia , siendo la 3900x a 17cent/GFLOP, y la tarjeta rtx 3080 a 4.6 cent /GFLOP, en el caso de x2 a 3.6cent/GFLOP.

[#!drvy]

Multiplicamos por 10 veces la instalacion anterior

Aunque tengas 2 coches iguales que alcanzan 300 km por hora, no significa que si los pegas vas a ir a 600km/h.

Saludos

[FreeCellnet]

Estoy paralelizando las tareas, y por tanto aumentando la capacidad de procesar, no estoy subiendo la velocidad de reloj, que seria tu ejemplo.

[#!drvy]

Asumes que lo haces, pero ignoras el coste de hacerlo.

Saludos

[FreeCellnet]

Es dificil calcular las horas que costaria pagar a 30 operarios para armar 18000 computadoras y pagar a los demas para adecuar o construir un edificio de 10 plantas de 225 metros cuadrados, pero no creo que cueste 400 millones de euros, porque toda la infraestructura electrica son 36 millones y las computadoras otros 60 millones que han sido presupuestadas siempre redondeando hacia arriba.

De ahí que no me crea que haya costado en america , 500 millones de euros una computadora de 200 petaflops, cuando la mia es de 1,11 hexaflops que cuesta 5 veces menos.

He redondeado y agregado decenas de millones a los equipos informaticos, a precio domestico , no comercial, que seria mas barato comprar al por mayor.

[#!drvy]

cuando la mia es de 1,11 hexaflops que cuesta 5 veces menos.

Insisto, no has montado una de 1,11 hexaflops. Has cogido la velocidad teórica que alcanzaría una build y la has multiplicado X veces para llegar a tu objetivo. No has tenido en cuenta ni software, ni distribución de tareas, ni paralelización, ni nada. Asumes que simplemente montas 10 pcs con esos componentes y la tarea esta acabada.. y no va así xD

no comercial, que seria mas barato comprar al por mayor.

Eso tampoco es cierto.

Saludos

[FreeCellnet]

Insisto, no has montado una de 1,11 hexaflops. Has cogido la velocidad teórica que alcanzaría una build y la has multiplicado X veces para llegar a tu objetivo. No has tenido en cuenta ni software, ni distribución de tareas, ni paralelización, ni nada. Asumes que simplemente montas 10 pcs con esos componentes y la tarea esta acabada.. y no va así xD

Eso tampoco es cierto.

Saludos

Tienes razon pero 400 millones seguro que no cuestan, lo que si cuesta 432 millones de euros es pagar durante 10 años la factura de la luz de 18MW de consumo. Tendria que hacer un calculo de una instalacion fotovoltaica. Serian un poco mas de 60.000 modulos fotovoltaicos de 300 vatios pico, que a 100€ la unidad seria nunos 60 millones de euros mas otros 40 millones porque si, y asi no nos gastariamos 400 milllones pagando la luz. Pero entonces, solo prodria funcionar de dia. , habria que almacenar energia por denoche , pero las baterias no serian opcion, habria que vender sobrante y compensar por la noche, o turbinar un embalse subiendo el agua con bombas de rodete por el dia con energia sobrante, y turbinar con una francis por la noche al embalse de abajo, para producir energia. Con las perdidas que tienen las turbinas se deberia sobredimensionar la instalacion fotovoltaica x 2 , teniendo en cuenta el exceso tamb para turbinar hacia arriva por el dia, y hacia abajo por la noche.

[WHK]

Principalmente, no es lo mismo tener múltiples placas y gpu y que este ya pueda igualar todo el trabajo que hace un super computador.

Para comenzar, el uso de múltiples placas significa el uso de una motherboard que te permita soportarlas e interconectarlas de manera simultanea y aun así, cada tarjeta tendrá su propia latencia debido a que cada una debe compartir una velocidad de transferencia por slot y por chip encargado del bus de datos serial, en un supercomputador utilizas placas especiales modulares donde puedes insertar todas las cpu y gpu que quieras al msimo hardware y trabajar de manera simultanea entre ellas sin perdida de latencia o de transferencia ya que no son independientes sino que son todas gestionadas bajo el mismo hardware, ais que tienes un hardware que en la práctica soporta cientos de sockets de cpu y cada uno con cientos de nucleos y no es llegar y embutir como un slot de pc, estos son placas gigantes y largas con componentes electrónicos especiales, a eso suma el chasis personalizado para ventilar todo eso y mantener una continuidad operativa de una manera eficiente y constante, soporte para fuentes de energia redundantes, sistemas de extracción de hardware en caliente, etc, cosas que ni en sueño tendrias en una pc, imagina que una placa madre de un supercomputador está diseñada para trabajar en caliente con cada componente electrónico, a demás estos son capaces de trabajar unidos, cada rack por hardware directamente, no por red como lo haría por ejemplo un pc con procesamiento distribuido, acá estamos hablando de una eficiencia máxima con la menor pérdida posible, un pc convencional por más cpus o gpus que tenga no podrá igualar su desempeño ni forma de escalar, si pudieras comprar esa cantidad de tarjetas gráficas no podrías escalar tu sistema de la misma manera que lo necesita un supercomputador según la complejidda de la tarea, a menos que tengas que estar desarmando el supercomputador cada ves que necesites hacer una tarea diferente.

En el caso de amazon, es algo muy diferente ya que su capacidad de hardware es constante y lineal y muy rara ves necesitan  escalar a menos que sus servicios escalen tambien, lo único dinámico es el uso del hardware, o sea, lo digital, pero el poder de hardware es constante por nodo y datacenter, en cambio un supercomputador necesita escalar en hardware, no en software.

Entonces, el costo está definido no solo por su poder de procesamiento, sino tambien por la complejidad de la construcción del hardware, a demás, no hay una demanda tal que permitiera a una compañía fabricar hardware de manera masiva para supercomputadores porque nadie en sus casas tiene el dinero para comprar y armar uno, ais que los costos de ensamblaje se encarecen ya que no hay una demanda y por lo general el diseño se debe considerar dentro del costo de la adquisición de cada pieza, no es como un pc donde compras una nvidia tesla por ejemplo, donde nvidia las manda a fabricar de manera masiva, no tienen que gastar dos veces en crear los moldes o mandar a hacer los planos, un supercomputador está diseñado solo para el modelo específico y para un uso específico, asi que todo tiende a ser mas costoso, a demás de lo "especial" que es cada pieza.

Un ejemplo claro, un disco duro de 1tb tiene un precio, pero el de 2tb no cuesta el doble, hoy cuesta lo que vale proporcionalmente 1.5tb, pero los de 4tb cuestan lo que proporcionalmente deberían costar casi 10 discos de 1tb y es por la complejidad de su construcción, su escacez de público objetivo, costos en almacenaje (por lo general pasan mas tiempos guardados y eso tiene un costo de almacenaje), etc. Asi que no todo tiene un costo proporcional a su capacidad o potencia, hoy un procesador de 30 nucleos que corre a 8.0 Ghz te puede costar lo mismo que comprar unos 100 razen.

Ahora, en la práctica:

PC v/s supercomputador con la misma capacidad de procesamiento:

El pc se quemaría si lo tienes a full trabajando meses completos o años completos sin apagar. Podrás decir que para eso puedes ponerle refrigeración líquida y todo lo demás, pero los ventiladores no tienen una vida útil tan larga y en algun momento tendrás que apagarla para cambiarle las piezas que fallan, un pc normal no tiene opcion de utilizar una fuente de poder edundante, imagina tener que realizar un calculo que tarda dos meses y justo el ultimo dia se te va la luz o tu ups no aguanta o necesitas escalar a un hardware superior, deberás detener lo que estás haciendo, por eso en el mundo corporativo no puedes usar un pc para aloojar un sitio web ni una raspberry, para eso se utilizan servidores rackeables por unidad, los cuales tienen un chasis especial que soporta altas temperaturas, fuentes de poder redundantes para evitar apagarlos en caso de cortes de luz, tienen un diseño físico para aumentar la eficiencia de refrigeracion y ahorrar costos, no necesita mantencion tan periodica como un pc, pueden pasar años encendidos sin problemas y con toda seguridad, un pc no te da seguridad por mas que confies en una marca o hayas tenido buenas experiencias: https://www.winpy.cl/files/w12575_2017.jpg , por otro lado un superservidor da un paso mas arriba que un servidor rackeable, a pesar de que uns ervidor rackeable soporta cantidades extraordinarias de cpus en una misma placa, cantidad gigantezcas de memoria ram y placas completas para poner gpus de tipo tesla, aun asi esto le queda corto a un super computador por temas de eficiencia y escalabilidad, con un pc convencional talves termines gastando mucha mas energia tanto en fuentes de pdoer como en ventilación, espacio físico, mantención, cuidados, etc, tener diez mil computadores no es algo eficiente en comparación a un super servidor, recuerda que a demás debes pagar el espacio físico donde tendrás todo, pagar cuentas de luz, pagarle a personal técnico de mantención, etc.

A demás, para rematar este tema, si usas varias gpu en un pc, que sistema operativo le pondrías?, alguno que sea compatible al 100% con el hardware?, le pondrás windows 10?, eso es totalmente absurdo y perderías mucho rendimiento y windows 10 no está diseñado para escalar a ese nivel, por eso es que la mayoría de los supercomputadores utilizan unix o linux y hardware especializado que sea totalmente compatible.

En otras palabras, el costo del supercomputador es mas elevado que un pc gigante porque un pc gigante no te da lo que si te da el supercomputador.

[FreeCellnet]

Yo no he tenido cuellos de botella con dos tarjetas graficas rtx3080 y un procesador 3900x porque la placa base tiene un chipset x570 potente y compatible. Y cada computadora trabaja independientemente, por lo tanto no hay cuellos de botella importantes, la potencia disipada en calor a plena carga se disipan con ventiladores delta electronics de 120mm de diametro de 3200rpm, dos por computadora mas disipador propio de la cpu. Yo tengo mi computadora trabajando a full y siendo la rx5700xt una calentorra haci3ndo overclock la tengo a 2070mhz de reloj del gpu a 1750mhz de memoria y la tengo a 74°C en la union, y la gpu a 64°C. Porque tambien hice undervolt y la tengo estable 30 dias las 24 horas del dia de momento con una buena regrigeracion de aire no se quema nada. No necesitas ningun chasis personalizado de la nasa, mientras los costados queden cerrados el aire entrante haga sufciente presion cfm y la salida este a extremos r3corri3ndo por tanto refrigerador del cpu y y las targetas graficas. Las compañias pueden hacerrte una tirada de rtx3080 si tu se las compras, y creo que deberian hacerte una rebaja.  Le meteria un sistema operativo que trabajara con los controladores de la grafica para monitorear temperaturas y frecuencia. Opino que los sistemas rackeables tienen cuellos de botella. Yo hablo de un centro de computacion, no de un data center donde si necesitas mucho almacenamiento, con una SSD de 120GB por computadora me sobra.

La seguridad me la da experiencia, antes se prueban las cosas, no meteria refrigeracion liquida ni aunque me la dieran gratis.

Lo que si puedo asumir es que se vaya la luz, y no haya fuentes redundantes, al ser exclusivamente fuentes individuales por computadora, pero siendo un servicio de 18MW, la linea practicamente seria tuya, salvo por descargas atmosfericas no veo el corte de luz, practicamente desde que se produce la energia y se eleva a alta tension y luego se reduce en los trafos, es una linea dedicada para el centro.

Yo he intentado buscar una pauta en el precio y decir que una cpu de 30 nucleo de 8 ghz corren como 100 ryzen sería una mentira. Mira la diferencia de precio que hay entre una tarjeta rtx3090 y rtx3080, y mira la capacidad de computo de ambas.

La rtx3090 vale 1500€, mientras que la rtx3080 739€, y sin embargo pese a valer el doble, no rinde el doble. ya que la rtx3090 va a 35.5 y la rtx3080 a 29.77 Yo miro cents/GFLOP.

Es mas el ryzen 3600X, depende como te salga el chip, lo puedes subir perfectamente a 4.1GHz teniendo de base 3,8Ghz, y meterle un ciclo de trabajo del 100%, en todos sus 12 hilos. y tenerlo a 78ºC y rendir casi como un 3800X.

El software , fedora 32 workstation? o alguna distribucion minimalista de ubuntu como ubuntu 18.04, bionic, fedora por norma general van bien las targetas graficas de AMD, pero para nvidia o para ATI ubuntu 20.04 focal fossa no hace falta instlaar drivers manualmente.