¿Qué función define la precisión en Keras cuando la pérdida es el error cuadrático medio (MSE)?

Hay al menos dos problemas distintos con su pregunta.

La primera ya debería quedar clara a partir de los comentarios del Dr. Snoopy y la otra respuesta: la precisión no tiene sentido en un problema de regresión, como el suyo; vea también el comentario de patyork en este hilo de Keras . Para bien o para mal, el hecho es que Keras no le "protegerá" ni a usted ni a ningún otro usuario de introducir solicitudes sin sentido en su código, es decir, no recibirá ningún error, ni siquiera una advertencia, de que está intentando algo que no lo hace. no tiene sentido, como solicitar la precisión en un entorno de regresión.

Aclarado eso, la otra cuestión es:

Dado que Keras efectivamente devuelve una "precisión", incluso en una configuración de regresión, ¿qué es exactamente y cómo se calcula?

Para arrojar algo de luz aquí, volvamos a un conjunto de datos público (ya que no proporciona ningún detalle sobre sus datos), es decir, el conjunto de datos de precios de la vivienda de Boston (guardado localmente como housing.csv), y ejecutemos un experimento simple de la siguiente manera:

import numpy as np
import pandas
import keras

from keras.models import Sequential
from keras.layers import Dense

# load dataset
dataframe = pandas.read_csv("housing.csv", delim_whitespace=True, header=None)
dataset = dataframe.values
# split into input (X) and output (Y) variables
X = dataset[:,0:13]
Y = dataset[:,13]

model = Sequential()
model.add(Dense(13, input_dim=13, kernel_initializer='normal', activation='relu'))
model.add(Dense(1, kernel_initializer='normal'))
# Compile model asking for accuracy, too:
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy'])

model.fit(X, Y,
     batch_size=5,
     epochs=100,
     verbose=1)

Como en su caso, el historial de ajuste del modelo (que no se muestra aquí) muestra una pérdida decreciente y una precisión que aumenta aproximadamente. Evaluemos ahora el rendimiento del modelo en el mismo conjunto de entrenamiento, utilizando la función incorporada de Keras adecuada:

score = model.evaluate(X, Y, verbose=0)
score
# [16.863721372581754, 0.013833992168483997]

El contenido exacto de la scorematriz depende de lo que hayamos solicitado exactamente durante la compilación del modelo; En nuestro caso, el primer elemento es la pérdida (MSE) y el segundo es la "precisión".

En este punto, echemos un vistazo a la definición de Keras binary_accuracyen el metrics.pyarchivo :

def binary_accuracy(y_true, y_pred):
    return K.mean(K.equal(y_true, K.round(y_pred)), axis=-1)

Entonces, después de que Keras haya generado las predicciones y_pred, primero las redondea y luego verifica cuántas de ellas son iguales a las etiquetas verdaderas y_true, antes de obtener la media.

Repitamos esta operación usando código simple Python y Numpy en nuestro caso, donde las etiquetas verdaderas son Y:

y_pred = model.predict(X)
l = len(Y)
acc = sum([np.round(y_pred[i])==Y[i] for i in range(l)])/l
acc
# array([0.01383399])

¡Pues bingo! En realidad, este es el mismo valor devuelto por score[1]arriba...

Para abreviar la historia: dado que usted solicita (erróneamente) metrics=['accuracy']en la compilación de su modelo, Keras hará todo lo posible para satisfacerlo y le devolverá cierta "precisión", calculada como se muestra arriba, a pesar de que esto no tiene ningún significado en su entorno.

Hay bastantes configuraciones en las que Keras, bajo el capó, realiza operaciones bastante sin sentido sin dar ninguna pista o advertencia al usuario; dos de ellos que me he encontrado son:

• Dando resultados sin sentido cuando, en una configuración de múltiples clases, uno solicita loss='binary_crossentropy'(en lugar de categorical_crossentropy) con metrics=['accuracy']: ¿ve mis respuestas en Rendimiento de Keras binario_crossentropy vs categorical_crossentropy? y ¿ Por qué binario_crossentropy es más preciso que categorical_crossentropy para la clasificación multiclase en Keras?

• Deshabilitar completamente el abandono, en el caso extremo cuando uno solicita una tasa de abandono de 1.0; vea mi respuesta en Comportamiento de abandono en Keras con tasa = 1 (eliminando todas las unidades de entrada) no como se esperaba

Feb 14 '2018 13:02 desertnaut