En este trabajo se estudia, análisis y aplica de un método estocásticos de un solo
paso ó Stochastic One-Step (SOS), método no iterativo e instantáneo, para el entrenamiento
de redes neuronales artificiales de alimentación hacia adelante. El método
Stochastic One-Step hace uso de pesos estocásticos (valores aleatorios) durante la etapa
de entrenamiento. Un hallazgo interesante es cuando el método propuesto se aplica
a sistemas de múltiples entradas y múltiples salidas, mediante el uso de una matriz
amputada, garantizando que cada variable de salida obtenga su topología óptima, dicho
efecto no se encuentra en los métodos de entrenamiento tradicionales. Para el
desarrollo de la metodología se hace uso de datos simulados (reconstrucción de tres
superficies), y datos de situaciones reales. Además, se prueba la factibilidad del método
haciendo comparaciones rigurosas contra métodos tradicionales, donde el método
propuesto resultó superior hasta un 50% bajo criterios estadísticos. En algunos casos
el método propuesto logró ser hasta 100 veces más rápido que los métodos de
entrenamiento tradicionales y con calidades de predicción competentes a los métodos
de preferencia. Algunos trabajos presentados en la literatura mencionan que una red
neuronal artificial de una sola capa oculta con alimentación hacia adelante no cuenta
con la misma capacidad de abstracción que las redes neuronales profundas, por lo
tanto, se utilizó el conjunto de datos de MNIST, base de datos comúnmente utilizada
en técnicas de aprendizaje automático, para evidenciar que una SLFN puede ofrecer
resultados aceptables si es entrenada mediante el método SOS. Los resultados para el
MNIST fueron de 98.15% de precisión, con un tiempo de entrenamiento de 1.27 horas,
donde se realizó un barrido desde 1 hasta 9’000 neuronas ocultas. Con el objetivo de
mejorar el método propuesto, se analizan distintos factores que influyen fuertemente
en su desempeño, como el rango en el que se inicializan los parámetros (pesos estocásticos),
que tienen gran impacto en el desempeño final. Como el método SOS entrena
redes neuronales de una forma rápida, fue posible realizar estudios más detallados.
Uno de estos estudios fue implementar técnicas de preprocesamiento como el análisis
de componentes principales, logrando reducir la dimensionalidad de bases de datos
sustancialmente grandes y a la par identificando la cantidad óptima de componentes
principales. Al final se plantea una metodología para desarrollar un entrenamiento rápido
y eficaz, donde el usuario no tenga que definir ningún parámetro de ajuste. La
metodología propuesta tiene como objetivo establecer reglas fijas sobre como entrenar
una red neuronal artificial.
This work analyzes and applies a Stochastic One-Step (SOS) method, a noniterative
and instantaneous method, for the training of feed-forward artificial neural
networks. The Stochastic One-Step method makes use of stochastic weights (random
values) during the training stage. An interesting finding is when the proposed method
is applied to multi-input, multi-output systems, by using an amputated matrix, guaranteeing
that each output variable obtains its optimal topology, such an effect is not
found in traditional training methods. For the development of the methodology, simulated
data (reconstruction of three surfaces) and data from real situations are used. In
addition, the feasibility of the method is tested by making rigorous comparisons against
traditional methods, where the proposed method was superior up to 50% under statistical
criteria. In some cases, the proposed method was able to be up to 100 times
faster than traditional training methods and with prediction qualities comparable to
the preferred methods. Some works presented in the literature mention that a neural
network artificial single layer concealed feedforward does not have the same abstraction
capacity as networks deep neural networks, therefore, the set of data from MNIST, a
database commonly used in techniques of machine learning, to show that an SLFN can
offer acceptable results if trained using the SOS method. The results for the MNIST
were 98.15% accurate, with a time of training of 1.27 hours, where a sweep was made
from 1 up to 9’000 hidden neurons.
To improve the proposed method, different factors that strongly influence its performance
are analyzed, such as the range in which the parameters are initialized (stochastic
weights), which have a great impact on the final performance.
Since the SOS method trains neural networks quickly, it was more detailed studies
possible. One of these studies was implementing preprocessing techniques such
as analysis of main components, managing to reduce the dimensionality of bases of
substantially large data, and at par by identifying the optimal number of principal
components. Finally, a methodology to develop fast and effective training, where the
user does not need to define any tuning parameters. The methodol
