[Artigo]: Introduzindo a rede neural Multi-Layer-Perceptron (MLP)

Neste post, apresentaremos alguns conceitos iniciais relacionados à solução de problemas linearmente não-separáveis com o Multi Layer Perceptron (MLP).

Será utilizado o mesmo tipo de problema que foi apresentado no post sobre a rede neural Perceptron. Pode-se notar que para esse conjunto de dados, não há como separá-los linearmente (classificação). Será necessário mais de 1 reta para uma classificação correta.

A rede neural utilizada para resolver este problema está representada graficamente abaixo. Nesta rede neural, adicionaremos agora um coeficiente linear (bias) a mesma. Sem este coficiente, qualquer reta (ou hiper-plano) deverá passar sempre pela origem (0,0), o que é uma restrição considerada desnecessária.

O papel dos dois neurônios escondidos é dividir o espaço do conjunto de dados de entrada em diversas partições. Para atingir tal objetivo, baseado na figura acima, poderiamos plotar 2 retas arbitrárias, conforme o gráfico abaixo.

Os valores dos coeficientes das equações correspondem diretamente aos pesos da rede neural (semelhante ao treinamento da rede Adaline). Entretanto, primeiramente é necessário fazer alguns ajustes nas equações a fim de que todos os termos estejam do mesmo lado, i.e. 0 = y + 0.36x - 0.85, etc. Logo, os pesos da rede serão estes a seguir:

wx1 = 0.36
wy1 = 1
wb1 = -0.85

wx2 = 1.92
wy2 = 1
wb2 = -0.70

Embora, nós tenhamos os pesos (valores) de uma rede que possa corretamente classificar os pontos de um problema não linearmente- separáveis, deparamos com algums problemas.

Como são 2 equações da reta, é necessário converter ou transformar o espaço amostral da entrada em um espaço que se possa ser linearmente separável a fim de que o neurônio de saída possam realizar corretamente a tarefa de classificação das entradas. Para isto, utilizamos a função de ativação apresentada em post anterior: Função Sigmóide com a introdução agora de uma variável lambda (λ).

def function(output):

return 1 / (1 + math.exp(-lambda * output))

O Lambda permite que o gradiente da função sigmóide desloque o espaço dos dados entrada gerando um espaço distorcido. Usando, por exemplo, o lambda com valor igual a 6, o espaço de entrada poderia ser visto assim:

Agora, os dados de entrada estão linearmente separáveis, e consequentemente o neurônio de saída pode classificar corretamente. Os valores representados pela equação equivalem diretamente aos pesos obtidos pelo treinamento da rede. Logo, os pesos na camada de saída da rede seriam:


wx1o = -0.73
wyh2o = 1
bo = 0.21

Embora, tenhamos obtido todos os pesos manualmente, é possível obter os valores desses pesos automaticamente. Para isto, é necessário de um algoritmo de treinamento, assim como foram deduzidos com o Adaline e Perceptron.
No próximo post, será introduzido o algoritmo de retro-propagação (Back-Propagation) com um exemplo prático desenvolvido em python.

Até lá,

Marcel P. Caraciolo