Desenvolvimento da transferência de aprendizagem via redes neurais artificiais profundas na modelagem do índice de transmissão da fala

Abstract

Resumo: O conforto acústico em salas de aula interfere na dinâmica do ensinoaprendizagem. Assim, salas com problemas acústicos causam um ônus socioeconômico, comprometendo a eficiência da educação. A inteligibilidade da fala é mensurada pelo Índice de Transmissão da Fala, em inglês, Speech Transmission Index (STI). Contudo, a medição desse índice é complexa e cara. Na literatura corrente, há modelos preditivos do STI que usam o Tempo de Reverberação (TR) como variável de regressão. Entretanto, esses modelos não ponderam os efeitos espectrais da localização dual tempo-frequência do sinal da resposta impulsiva das salas (RIR), bem como o conteúdo espectral do ruído de fundo. Este trabalho objetivou gerar um modelo preditivo do STI ao aplicar uma rede neural convolucionalunidimensional profunda (1DCONVNET). Contudo, devido à dificuldade em realizar medições in situ do STI, e com o objetivo de prover robustez às estimativas da rede 1DCONVNET, foi proposto um novo algoritmo de Transferência de Aprendizagem (TF), denominado de Minimização Variacional Projetiva-Adaptativa não Paramétrica (MVPAnP). O MVPAnP objetiva otimizar um modelo generativo treinado com dados simulados e transferir a generalização para um conjunto de dados de medições. O algoritmo MVPAnP baseia-se em Inteligência Artificial Generativa, via Redes Autocodificadoras Variacionais (VAE). A rede VAE gerou uma distribuição à posteriori agregada no espaço latente de origem que foi aplicada como parametrização da distribuição do conjunto alvo. A relação entre os conjuntos de origem e alvo deu-se via regressão de componentes principais de núcleo (KPCR) sobre os espaços latentes gerados pela rede VAE. A dimensão dos conjuntos de treinamento e validação da rede VAE foi de 25000 e 5000 salas, respectivamente. A rede 1DCONVNET possui dois sinais de entrada, a resposta impulsiva da sala, simulada via o Método das Imagens e o ruído de fundo (BGN), ambas entradas foram processadas pela Densidade Espectral de Potência (PSD), a saída foi o STI. A validação experimental da rede 1DCONVNET foi realizada em 13 salas de aula, sendo 301 de medições de TR - ISO 3288-2 e 90 medições do STI - IEC 60268-16. Dessas medições gerou-se o conjunto de testes com 600 salas, este conjunto foi utilizado para avaliar a rede 1DCONVNET nos cenários com e sem TF, tal configuração dos cenários é representada pelo acoplamento do algoritmo MVPAnP na função custo. Como resultado, a validação deste algoritmo foi realizada com base no teste ANOVA, com p-valor < 0,01, evidenciando uma melhora significativa na precisão do modelo no conjunto de teste para a rede 1D CONVNET. Os erros médios foram de MSPE = 4,49%, RMPSE = 2,23% e EQM = 0,09, para 600 salas de teste. A melhoria com a TF foi de 6 vezes, em termos da média do EQM com validação cruzada (CV = 10), nos cenários com e sem TF. Esses resultados demonstram a eficácia do método de TF para melhorar a precisão da predição do STI. Conclui-se que o algoritmo MVPAnP poderá ser empregado como uma ferramenta de apoio para a avaliação STI em salas de aula, usando apenas a instrumentação associada às medições do TR

Abstract: Acoustic comfort in classrooms interferes with the teaching-learning dynamics. Therefore, classrooms with acoustic problems cause a socioeconomic burden, compromising the efficiency of education. Speech intelligibility is measured by the Speech Transmission Index (STI). However, measuring this index is complex and expensive. In current literature, there are STI predictive models that use Reverberation Time (RT) as a regression variable. However, these models do not consider the spectral effects of the dual time-frequency location of the Room Impulse Response (RIR) signal, as well as the spectral content of the background noise. This work aimed to generate a predictive model of the STI by applying a deep one-dimensional convolutional neural network (1DCONVNET). However, due to the difficulty in performing in situ measurements of the STI, and with the objective of providing robustness to the estimates of the 1DCONVNET network, a new Transfer Learning (TF) algorithm was proposed, called Non-Parametric Projective-Adaptive Variational Minimization (NP-PAVM). NP-PAVM aims to optimize a generative model trained with simulated data and transfer the generalization to a measurement dataset. The NPPAVM algorithm is based on Generative Artificial Intelligence, via Variational Autoencoders (VAE) networks. The VAE network generated an aggregated posterior distribution in the source latent space that was applied as a parameterization of the distribution of the target set. The relationship between the source and target sets was achieved via Kernel Principal Component Regression (KPCR) on the latent spaces generated by the VAE network. The size of the training and validation sets of the VAE network was 25000 and 5000 classrooms, respectively. The 1DCONVNET network has two input signals, the RIR, simulated via the Image Method and the background noise (BGN), both inputs were processed by Power Spectral Density (PSD), the output was the STI. The experimental validation of the 1DCONVNET network was carried out in 13 classrooms, with 301 measurements of TR - ISO 3288-2 and 90 measurements of STI - IEC 60268-16. From these measurements, a test set with 600 classrooms was generated. This set was used to evaluate the 1DCONVNET network in scenarios with and without TF. This scenario configuration is represented by coupling the NP-PAVM algorithm in the cost function. As a result, the validation of this algorithm was carried out based on the ANOVA test, with p-value < 0.01, showing a significant improvement in model accuracy in the test set for the 1D CONVNET network. The average errors were MSPE = 4.49%, RMPSE = 2.23% and MSE = 0.09, for 600 test classrooms. The improvement with TF was 6 times, in terms of the mean of the MSE with crossvalidation (CV = 10), in the scenarios with and without TF. These results demonstrate the effectiveness of the TF method in improving the accuracy of STI prediction. It is concluded that the NP-PAVM algorithm can be used as a support tool for STI assessment in classrooms, using only the instrumentation associated with RT measurements