Aprendizaje automático (ML). Entrenamiento de modelos matemáticos con un algoritmo. Redes neuronales métodos de regresión y clasificación

Las redes neuronales son un tipo de algoritmo de aprendizaje automático/aprendizaje profundo que imita el funcionamiento del cerebro humano. Consisten en múltiples capas de neuronas que se conectan entre sí e interactúan entre sí mediante una función de activación. Las redes neuronales utilizan capas de entrada (datos como entrada), capas ocultas (contienen neuronas artificiales que procesan los datos) y capas de salida (que generan resultados a partir de los datos procesados). El algoritmo de red neuronal se incluye en la categoría de algoritmos de aprendizaje supervisado y se utiliza para predecir variables de salida tanto continuas (regresión) como categóricas (clasificación). Esta característica de nuestro software hace que la tecnología de aprendizaje automático sea accesible para una amplia gama de usuarios.

Puede descargar un ejemplo de un archivo de hoja de cálculo estructurado para crear un modelo matemático y predicción mediante un algoritmo de red neuronal para análisis de regresión: XLSX y para la clasificación XLSX .

Se pueden utilizar datos estructurados de archivos de tablas para importar: libro de Excel (*.xlsx); Libro binario de Excel (*.xlsb); Hoja de cálculo OpenDocument (*.ods).

¿Dónde se usa?

Se puede utilizar el análisis de datos mediante el método de redes neuronales:

• como una alternativa efectiva (coste, tiempo, recursos)" Experimentos de planificación "buscar modos óptimos de parámetros de entrada;
• para la evaluación preliminar o alternativa de los parámetros de salida cuando los procedimientos de medición de dichos parámetros se llevan a cabo mediante pruebas costosas y/o que requieren mucho tiempo;
• para sistemas expertos de soporte a decisiones (DSS), cuando las decisiones están asociadas con el riesgo de errores humanos.

Archivos de modelo de datos

Nuestro software puede utilizar modelos matemáticos de redes neuronales entrenados para la biblioteca scikit-learn, creados en otras computadoras y guardados en archivos (*.sav).

Redes neuronales por método de regresión para cantidades continuas (mediciones) en la entrada y salida

Figura 1. Ventana para acceder a funciones de aprendizaje automático (ML). Se muestra una lista de menús desplegables cuando pasa el mouse sobre el elemento del menú principal.

Figura 2. Ventana de funciones de aprendizaje automático (ML). Se muestra información sobre herramientas cuando pasa el mouse sobre el botón para ir a las funciones de las redes neuronales (regresión y clasificación).

Figura 3. Ventana de transición a funciones para gestionar algoritmos de aprendizaje automático utilizando métodos de redes neuronales (regresión y clasificación). Aparece una información sobre herramientas desplegable cuando pasa el mouse sobre el botón para ir al panel de control de algoritmos de redes neuronales (regresión).

Figura 4. Ventana de la función de control del algoritmo de aprendizaje automático mediante el método de redes neuronales (regresión). Se selecciona la variable a predecir. Se establecen los valores predeterminados: el número de capas ocultas y el número de neuronas en cada capa oculta, el número de iteraciones (épocas). La casilla de verificación está marcada para guardar el modelo en la carpeta de la aplicación adecuada (SCCPython\resources\Model_AI). Las características y los indicadores de precisión del modelo matemático entrenado se muestran encima del diagrama de la red neuronal. El área de trazado muestra el gráfico "Diagrama de red neuronal, valores reales frente a valores previstos".

Figura 5. Ventana de la función de control del algoritmo de aprendizaje automático mediante el método de redes neuronales (regresión). Se han cambiado los valores de los campos para el número de capas ocultas y neuronas en cada capa oculta de la red neuronal.

Figura 6. Ventana de la función de control del algoritmo de aprendizaje automático mediante el método de redes neuronales (regresión). Se abre una lista desplegable con tipos de gráficos de evaluación de modelos matemáticos.

Figura 7. Ventana de la función de control del algoritmo de aprendizaje automático mediante el método de redes neuronales (regresión). El área de trazado muestra el gráfico "Valores reales frente a valores previstos" para el conjunto de datos de prueba.

Figura 8. Ventana de la función de control de la aplicación del modelo matemático de la red neuronal (regresión). El área de trazado muestra el gráfico "Valores reales frente a valores previstos" para el conjunto de datos de prueba. El gráfico se escala en el eje X para mostrar menos puntos (de 140 a 196) usando la herramienta Zoom debajo del gráfico.

La función de cargar un archivo con un modelo matemático guardado de una red neuronal (regresión) y aplicarlo a sus datos para la predicción es similar a la función descrita en la página. Árboles de decisión (regresión) .

Si sus datos importados contienen una o más columnas de variables explicativas con valores categóricos, como [masculino, femenino], se realizará un procedimiento automático de codificación One-Hot para convertir los datos en nuevas columnas codificadas numéricamente [0, 1]. Los datos codificados en caliente se guardarán en el archivo [xlsx] original en una hoja nueva.

Razones por las que la precisión de un modelo matemático que utiliza el método de red neuronal (regresión) puede dar lugar a una precisión baja

1. Cantidad limitada de datos: si tiene una cantidad limitada de datos para entrenar un modelo, es posible que la red neuronal no tenga suficiente información para crear un modelo preciso. A menudo se necesitan datos grandes y variados para entrenar una red neuronal con alta precisión.
2. Arquitectura de red inapropiada: seleccionar una arquitectura de red neuronal adecuada es muy importante. Si la arquitectura de red neuronal elegida no es adecuada para un conjunto de datos específico o un problema de regresión, puede resultar en una precisión deficiente del modelo. Es necesario experimentar con diferentes tipos de capas, cantidad de unidades ocultas y estructura de red para lograr mejores resultados.
3. Entrenamiento insuficiente: entrenar una red neuronal puede ser un proceso complejo que requiere una cantidad suficiente de épocas y un ajuste cuidadoso de los hiperparámetros. Si el modelo no se entrena durante suficientes épocas o con hiperparámetros seleccionados incorrectamente, puede resultar en una baja precisión del modelo.
4. Sobreajuste: una red neuronal puede experimentar un problema de sobreajuste si el conjunto de entrenamiento es demasiado pequeño y el modelo tiene demasiados parámetros. Esto puede conducir a una capacidad deficiente de generalización del modelo y a una baja precisión de los datos nuevos. Al volver a entrenar, se recomienda utilizar métodos de regularización, como reducir la tasa de aprendizaje o introducir restricciones en la norma de pesos.
5. Preprocesamiento de datos incorrecto: el preprocesamiento de datos incorrecto, como el escalado, la normalización o el manejo de valores atípicos, puede afectar significativamente la precisión de un modelo de red neuronal. Es necesario analizar y preparar cuidadosamente los datos antes de entrenar el modelo.
6. Datos desequilibrados: si su conjunto de datos contiene un número impar de ejemplos de diferentes valores de la variable objetivo, esto puede provocar una precisión deficiente del modelo. En tales casos, se pueden aplicar técnicas de ponderación de ejemplo.
7. Problemas con el muestreo de datos: si los datos se seleccionan aleatoria o incorrectamente, puede provocar una baja precisión del modelo. Es importante seleccionar cuidadosamente los datos para que sean representativos del problema de regresión.

Redes neuronales por método de clasificación para cantidades continuas (mediciones) como entrada y datos categóricos (clases) como salida

Ejemplo 1. Con base en los resultados de las pruebas clínicas del paciente, es necesario tomar una decisión sobre su diagnóstico, por ejemplo, enfermo/no enfermo.

Ejemplo 2. Es necesario sacar una conclusión sobre la pertenencia de un objeto o evento a una clase (tipo) específica a partir de los resultados de las mediciones de muchas de sus características (propiedades).

Figura 9. Ventana de la función de gestión del entrenamiento y evaluación del modelo matemático de una red neuronal (clasificación). Se muestra una información sobre herramientas desplegable cuando pasa el mouse sobre el botón para ir al panel de control de algoritmos de redes neuronales que utilizan el método de clasificación.

Figura 10. Ventana de la función de gestión del entrenamiento y evaluación del modelo matemático de una red neuronal (clasificación). Se selecciona la variable categórica prevista (variable de clase). Se establecen los valores predeterminados: el número de capas ocultas y el número de neuronas en cada capa oculta, el número de iteraciones (épocas). La casilla de verificación está marcada para guardar el modelo en la carpeta de la aplicación adecuada (SCCPython\resources\Model_AI). Las características y los indicadores de precisión del modelo matemático entrenado se muestran encima del diagrama de la red neuronal. Se abre una lista desplegable con gráficos para evaluar el modelo matemático. El área de trazado muestra el gráfico "Diagrama de red neuronal, valores reales frente a valores previstos".

Figura 11. Ventana de la función de gestión del entrenamiento y evaluación del modelo matemático de la red neuronal (clasificación) con gráficas de la “matriz de confusión”.

La función de cargar un archivo con un modelo matemático guardado de una red neuronal (clasificación) y aplicarlo a sus datos para la predicción es similar a la función descrita en la página. Árboles de decisión (clasificación) .

Si sus datos importados contienen una o más columnas de variables explicativas con valores categóricos, como [masculino, femenino], se realizará un procedimiento automático de codificación One-Hot para convertir los datos en nuevas columnas codificadas numéricamente [0, 1]. Los datos codificados en caliente se guardarán en el archivo [xlsx] original en una hoja nueva.

Razones por las que la precisión de un modelo matemático que utiliza el método de red neuronal (clasificación) puede dar lugar a una precisión baja

1. Datos insuficientes: si el modelo se entrena con una pequeña cantidad de datos, puede resultar en una precisión baja. Cuantos más datos estén disponibles para el entrenamiento, más preciso podrá ser el modelo.
2. Arquitectura de red neuronal incorrecta: es importante elegir una arquitectura de red neuronal adecuada. No hacer coincidir la arquitectura con los datos o la tarea de clasificación puede afectar la precisión del modelo.
3. Hiperparámetros elegidos incorrectamente: las redes neuronales tienen muchos hiperparámetros que deben ajustarse adecuadamente. La elección incorrecta de hiperparámetros puede provocar una baja precisión del modelo.
4. Uso de funciones incorrectas: también es importante seleccionar funciones correctas y relevantes. El uso de funciones inapropiadas o irrelevantes puede reducir la precisión de la clasificación.
5. Preprocesamiento de datos incorrecto: el preprocesamiento de datos incorrecto puede afectar la precisión del modelo de red neuronal. Esto puede incluir escalado, normalización o manejo de valores atípicos incorrectos.
6. Elección incorrecta de la función de pérdida: la función de pérdida de una red neuronal debe ser adecuada para una tarea de clasificación particular. Elegir la función de pérdida incorrecta puede afectar la precisión del modelo.