Reguladores permitem que você aplique penalidades em parâmetros de camada ou atividade de camada durante a otimização. Essas penalidades são somadas na função de perda que a rede otimiza. As penalidades de regularização são aplicadas por camada.
O que é regularizador de atividade?
O regularizador de atividades funciona em função da saída da rede, e é usado principalmente para regularizar unidades ocultas, enquanto o weight_regularizer, como o próprio nome diz, funciona nos pesos (por exemplo, fazendo-os decair).
Quando devo usar o regularizador de atividade?
Se você quiser que a função de saída passe(ou tenha uma interceptação mais próxima) da origem, você pode usar o regularizador de polarização. Se você quiser que a saída seja menor (ou mais próxima de 0), você pode usar o regularizador de atividade.
Como uso o regularizador Keras?
Para adicionar um regularizador a uma camada, basta para passar a técnica de regularização preferida para o argumento de palavra-chave da camada 'kernel_regularizer'. Os métodos de implementação de regularização Keras podem fornecer um parâmetro que representa o valor do hiperparâmetro de regularização.
O que é kernel e bias?
Dense class
Dense implementa a operação: output=activation(dot(input, kernel) + bias) onde a ativação é a função de ativação por elemento passada como argumento de ativação, kernel é uma matriz de pesos criada pela camada, ebias é um vetor de bias criado pela camada (aplicável somente se use_bias for True).
