Uma abordagem baseada em seleçao pelas conseqüencias para aprendizagem de redes neurais multi-camadas voltadas r concepçao de sistemas autômos inteligentes

Abstract

Resumo: Um modelo de rede neural artificial é proposto. A rede neural possui múltiplas camadas. Cada camada da rede neural é formada por uma grade quadrangular de neurônios (em um espaço toroidal). As conexões sinápticas de cada neurônio abrangem três tipos: excitatórias inter-camadas, laterais inibitórias intra-camada e laterais excitatórias intra-camada. A disposição espacial das conexões é do tipo Gaussiana e específica para cada tipo de sinapse. Cada neurônio estabelece um número restrito de conexões. O modelo de arquitetura contribui para eliminar restrições apresentadas por arquiteturas em que entradas e conexões são distribuídas a todos os neurônios de cada camada. O modelo do neurônio apresenta dinâmica interna, proporcionando uma memória da atividade recente e assumindo papel importante na aprendizagem. A aprendizagem ê baseada na seleção pelas conseqüências, conforme princípios de aprendizagem por reforço. Em particular, a de aprendizagem por reforço utilizada é do tipo clássico. Os experimentos definidos para investigação e confirmação das capacidades da rede neural consideram um ambiente simulado, condizente com o modelo de Seleção pelas Conseqüências. Os resultados obtidos em simulações mostram que o modelo é capaz de reproduzir diversos fenômenos comportamentais, que são: aquisição de comportamento respondente, extinção de comportamento respondente, aquisição de comportamento operante, extinção de comportamento operante, capacidade de generalização de estímulos, habilidade no controle da intensidade das respostas, capacidade de controle de múltiplas respostas e fusão de sensores. Experimentos também ilustram o importante papel das conexões laterais inibitórias e das conexões laterais excitatórias na modelagem da formação de grupos neurais em nível operante. Entende-se que a capacidade de aprendizagem alcançada pela rede neural proposta torna-a viável para a concepção de sistemas autônomos inteligentes com potencialidades superiores àqueles divulgados na literatura especializada.

Abstract: A model of an artificial neural network is proposed. The neural network has multiple layers. Each network layer is formed by a quadrangular grid of neurons (on a toroidal space). The synaptic connections that every neuron has are defined between tree types: inter-layer excitatory, lateral intra-layer inhibitory and lateral intra-layer excitatory. The spatial disposition of connections is of a Gaussian type and specific for each type of synapse. Each neuron has a limited number of connections. The model contributes to eliminate restrictions presented by other architectures in witch connections are distributed to all of the neurons of each layer. The neuron model presents an internal dynamic, working as a memory of its recent activity and having important role in the learning process. The learning procedure is based on the selection by consequences according to reinforcement learning principles. Particularly the reinforcement learning approach used is of the classical type. The experiments defined for the investigation and confirmation of the capacities of the neural network consider a simulated environment that works according to the Selection by Consequences model. The simulation results show that the model is capable of reproducing several behavioral phenomena that are: acquisition of respondent behavior, extinction of respondent behavior, acquisition of operant behavior, extinction of operant behavior, stimulus generalization capacity, ability to control the response intensity, capacity to control multiple responses and sensor fusion. Besides that, the experiments also illustrate the important role of the lateral inhibitory and lateral excitatory connections for a correct shaping of operant level responses and neural groups. It is understood that the learning capacities that the proposed neural network exhibits make it viable for the conception of intelligent autonomous systems with potentialities superior to those already presented in the specialized literature.