Puntuación de Brier

[B€T€B€]

Buenas Noches.

¿Por casualidad hay algún matemático en en Foro?

[Machacador]

Buenas Noches.

¿Por casualidad hay algún matemático en en Foro?

Matemático lo que es decir matemático, no creo que haya... pero gente que sabe algo de matemáticas si hay, ademas de que aquí contamos con el profesor Google que siempre está disponible para prestarnos su ayuda si sabemos hacer la pregunta adecuadamente...

"El Brier score es apropiado para los binarios y los resultados categóricos que pueden ser estructurados como verdadero o falso"

Fuente: https://www.i-ciencias.com/pregunta/140542/como-calcular-la-puntuacion-de-brier-para-mas-de-dos-clases

La puntuación de Brier es una función de puntuación estrictamente adecuada o una regla de puntuación estrictamente adecuada que mide la precisión de las predicciones probabilísticas . Para las predicciones unidimensionales, es estrictamente equivalente al error cuadrático medio aplicado a las probabilidades predichas.

https://es.qaz.wiki/wiki/Brier_score#:~:text=La%20puntuaci%C3%B3n%20de%20Brier%20es,aplicado%20a%20las%20probabilidades%20predichas.

[Danielㅤ]

Hola, me parece que kub0x sabe mucho de matemáticas.


Saludos

[B€T€B€]

Desarrollo el tema.

La Puntuación de Brier es una Regla de Puntuación con la que se puede evaluar lo precisas que son las previsiones hechas en relación a los resultados (finales) reales.

Se calcula restando de la probabilidad el resultado real, y elevándolo al cuadrado.
Pongamos que hay un 70% (0,7 de 1) de que haya niebla y al final la hay.

1-> hay niebla 0-> no hay niebla

Hay niebla.

(0,7 -1)^2= 0,09 Brier


Si hay un 70% de que haya niebla, tiene que haber un 30% de que no haya niebla.
Calculo la puntuación de Brier del 30%, no habiendo niebla.

(0,3-0)^2=0,09  Algo estoy haciendo mal o no me entero.

[kub0x]

Hola B€T€B€,

la puntuación de Brier (o Brier Score para los guiris) como bien dijeron por ahí es lo mismo que el mean squared error en el caso unidimensional, que es el que manejas en tu ejemplo.

Concretamente, en tu caso, Brier aplicado a una condición binaria, es decir, llueve o no llueve. Es el caso más simple en la teoría. Pero existe la posibilidad de enlazar probabilidades (predicción) y de resultados "reales" (forecast), de hecho la formulación original de Brier va por ahí.

Por lo tanto,

Llueve: (0.7 -1)^2 = 0.09
No llueve : (0.7 - 0)^2 = 0.49 (Aquí estaba tu error jeje) Es decir, 70% de que llueva pero no llueve, por eso tomamos el 0.7 por la predicción del 70%.

Es decir, podríamos hacer (0.3 - 1)^2 = (0.7 - 0)^2 ya que 30% de que NO llueva y llueve es (0.3-1)^2 en forma de Brier y es lo mismo que el calculo de "No llueve" anterior. Magia borrás XD

Naturalmente, cuanto menor sea el resultado, más ajustada es nuestra predicción sobre el fenómeno (o conjunto de datos) observado.

Espero que te haya servido. Un saludo.

[B€T€B€]

Te entiendo, pero sigo sin poder resolver mi problema.
Te explico.



Probabilidad de que llueva/no llueva
10/90
25/75
etc

El color amarillo de las celdas indica lo al final ocurrió.
¿Cómo rellenarías tú las dos columnas (respectivas puntuaciones de Brier) de la derecha en función de lo acontecido?

[Tachikomaia]

https://foro.rinconmatematico.com/index.php?board=21.0

[kub0x]

Esto es el contenido de un mensaje privado que he enviado a B€T€B€, pero lo dejo por aquí por si a alguien más le sirve la explicación:

Hola B€T€B€,

esta semana no he logeado para nada, espero que hayas podido resolver tu cuestión. Pero vamos, en cada cuadrícula que tienes en blanco, has de hacer lo siguiente:

Si la cuadrícula es SI, cogerás la celda de la probabilidad de que llueva (la izquierda de la primera tabla), y le restaras el 1, haras el cuadrado y lo tienes.
Si la celda es NO, en vez de restar 1 restaras 0 y lo tienes.

La mecánica es la misma que te explique en el post. De hecho, sólo necesitas una columna de probabilidad, la del SI o la del NO, ya que con cualquiera de las dos calculas la puntuacion de Brier, como bien te expliqué.

Saludos.

[B€T€B€]

Y el resultado es este.

[kub0x]

Y el resultado es este.

La columna de la derecha es correcta, la de la izquierda no. Brier score para SI y para NO es simétrico cuando Probablidad_SI=Probabilidad_NO. Entonces, es imposible que la celda del SI y la del NO den mismo valor, a no ser que ambas probabilidades sean iguales.

Saludos.