Modelado de procesos con RNAs: entrenamiento rápido usando pesos estocásticos con capacidad de generalización

Abstract

En este trabajo se estudia, análisis y aplica de un método estocásticos de un solo paso ó Stochastic One-Step (SOS), método no iterativo e instantáneo, para el entrenamiento de redes neuronales artificiales de alimentación hacia adelante. El método Stochastic One-Step hace uso de pesos estocásticos (valores aleatorios) durante la etapa de entrenamiento. Un hallazgo interesante es cuando el método propuesto se aplica a sistemas de múltiples entradas y múltiples salidas, mediante el uso de una matriz amputada, garantizando que cada variable de salida obtenga su topología óptima, dicho efecto no se encuentra en los métodos de entrenamiento tradicionales. Para el desarrollo de la metodología se hace uso de datos simulados (reconstrucción de tres superficies), y datos de situaciones reales. Además, se prueba la factibilidad del método haciendo comparaciones rigurosas contra métodos tradicionales, donde el método propuesto resultó superior hasta un 50% bajo criterios estadísticos. En algunos casos el método propuesto logró ser hasta 100 veces más rápido que los métodos de entrenamiento tradicionales y con calidades de predicción competentes a los métodos de preferencia. Algunos trabajos presentados en la literatura mencionan que una red neuronal artificial de una sola capa oculta con alimentación hacia adelante no cuenta con la misma capacidad de abstracción que las redes neuronales profundas, por lo tanto, se utilizó el conjunto de datos de MNIST, base de datos comúnmente utilizada en técnicas de aprendizaje automático, para evidenciar que una SLFN puede ofrecer resultados aceptables si es entrenada mediante el método SOS. Los resultados para el MNIST fueron de 98.15% de precisión, con un tiempo de entrenamiento de 1.27 horas, donde se realizó un barrido desde 1 hasta 9’000 neuronas ocultas. Con el objetivo de mejorar el método propuesto, se analizan distintos factores que influyen fuertemente en su desempeño, como el rango en el que se inicializan los parámetros (pesos estocásticos), que tienen gran impacto en el desempeño final. Como el método SOS entrena redes neuronales de una forma rápida, fue posible realizar estudios más detallados. Uno de estos estudios fue implementar técnicas de preprocesamiento como el análisis de componentes principales, logrando reducir la dimensionalidad de bases de datos sustancialmente grandes y a la par identificando la cantidad óptima de componentes principales. Al final se plantea una metodología para desarrollar un entrenamiento rápido y eficaz, donde el usuario no tenga que definir ningún parámetro de ajuste. La metodología propuesta tiene como objetivo establecer reglas fijas sobre como entrenar una red neuronal artificial.

This work analyzes and applies a Stochastic One-Step (SOS) method, a noniterative and instantaneous method, for the training of feed-forward artificial neural networks. The Stochastic One-Step method makes use of stochastic weights (random values) during the training stage. An interesting finding is when the proposed method is applied to multi-input, multi-output systems, by using an amputated matrix, guaranteeing that each output variable obtains its optimal topology, such an effect is not found in traditional training methods. For the development of the methodology, simulated data (reconstruction of three surfaces) and data from real situations are used. In addition, the feasibility of the method is tested by making rigorous comparisons against traditional methods, where the proposed method was superior up to 50% under statistical criteria. In some cases, the proposed method was able to be up to 100 times faster than traditional training methods and with prediction qualities comparable to the preferred methods. Some works presented in the literature mention that a neural network artificial single layer concealed feedforward does not have the same abstraction capacity as networks deep neural networks, therefore, the set of data from MNIST, a database commonly used in techniques of machine learning, to show that an SLFN can offer acceptable results if trained using the SOS method. The results for the MNIST were 98.15% accurate, with a time of training of 1.27 hours, where a sweep was made from 1 up to 9’000 hidden neurons. To improve the proposed method, different factors that strongly influence its performance are analyzed, such as the range in which the parameters are initialized (stochastic weights), which have a great impact on the final performance. Since the SOS method trains neural networks quickly, it was more detailed studies possible. One of these studies was implementing preprocessing techniques such as analysis of main components, managing to reduce the dimensionality of bases of substantially large data, and at par by identifying the optimal number of principal components. Finally, a methodology to develop fast and effective training, where the user does not need to define any tuning parameters. The methodol