Year: 2014
Type: dissertation
Abstract: En la actualidad muchos sistemas generan continuamente grandes cantidades de datos. Nuestra vida cotidiana presenta diversos escenarios de este tipo. Internet, telefonia movil y sensores son algunos ejemplos de estas fuentes de informacion [1]. Debido a la enorme cantidad de datos y a su obtencion continua, no es posible para los humanos analizarlos ni utilizar sistemas tradicionales de procesamiento por lotes, donde todos los datos deben ser recolectados antes de su ejecucion y no es necesaria una respuesta en linea. La extraccion de conocimiento a partir de grandes flujos de datos es una de las tareas mas retadoras en el area de la mineria de datos y el aprendizaje automatico. Debido a la gran cantidad de datos y a su tasa de llegada alta, estos deben procesarse con recursos computacionales limitados de tiempo y espacio.Nuestro mundo es dinamico y los cambios son parte de la vida diaria. Cuando existe un cambio, por ejemplo debido a condiciones meteorologicas o actividades de adversarios, los modelos de prediccion o clasificacion necesitan ser capaces de adaptarse a ellos. Este es uno de los problemas fundamentales a resolver cuando se aprende a partir de datos no estacionarios recolectados en el tiempo, y es conocido como cambio de concepto. El aprendizaje incremental supervisado con cambio de concepto constituye el area de investigacion en la cual se enmarca esta tesis. El cambio de concepto esta presente en muchos problemas reales de gran auge, como son el mercado, rastro Web, deteccion de fraude, filtrado de informacion, juegos, redes de sensores, datos espaciales, biometrica y muchos otros [2, 3]; de ahi su importancia y la amplia gama de investigaciones en el area.
La presente investigacion esta dirigida a resolver el problema cientifico de como avanzar en los metodos para el aprendizaje supervisado adaptativo en linea. El objetivo general de la presente investigacion es aumentar la precision de los modelos de clasificacion o prediccion bajo cambio de concepto, considerando las restricciones computacionales comunes en estos escenarios y los tipos de cambios mas frecuentes.
Asi, planteamos las siguientes tareas de investigacion: ? Analisis de los metodos existentes para la deteccion de cambios distribucionales en los datos aplicables al aprendizaje en linea, asi como de los metodos para la adaptacion a dichos cambios centrandose en el aprendizaje mediante arboles de decision.
? Identificacion de las metodologias de evaluacion de algoritmos adecuadas para el aprendizaje en linea con cambio de concepto, asi como de las metricas para evaluar el rendimiento de detectores de cambio de concepto y de los modelos basados en arboles de decision.
? Desarrollo de nuevos metodos para la deteccion de cambios en linea teniendo en cuenta las limitaciones de los metodos existentes y los indicadores de rendimiento mas comunes a considerar en su diseno y evaluacion.
? Mejora de la induccion de modelos de arboles de decision a traves del algoritmo IADEM-2 [4], asi como su extension para el aprendizaje a partir de flujos de datos con cambio de concepto.
? Evaluacion de los metodos y algoritmos desarrollados considerando conjuntos de datos artificiales y reales, teniendo en cuenta metodologias y metricas adecuadas para el aprendizaje en flujos de datos no estacionarios.
Los principales aportes de esta tesis son el desarrollo de nuevos metodos para la manipulacion de cambio de concepto independientemente del algoritmo de aprendizaje, y la extension de la familia de algoritmos de Induccion de Arboles de Decision por Muestreo (IADEM) [4, 5] para el aprendizaje incremental con cambio de concepto. Adicionalmente, abordaremos otras de las problematicas relacionadas con la induccion de arboles de decision, como es el problema de la eleccion del mejor atributo para expandir, la manipulacion de atributos numericos y el uso de tecnicas para mejorar la precision del modelo inducido.
Relacionado con la manipulacion de cambio de concepto independientemente del algoritmo de aprendizaje, la idea fundamental es monitorizar alguna medida de rendimiento de interes del modelo de aprendizaje a lo largo del tiempo (por ejemplo, la precision en la clasificacion o prediccion), para disparar senales de cambio cuando se estima que esta medida ha decaido significativamente. Consideramos medidas de rendimiento que se corresponden con variables aleatorias independientes, acotadas y que toman valores en el conjunto de los numeros reales.
Proveemos a los metodos con garantias probabilisticas de desempeno en terminos de cotas para la tasa de falsos positivos y falsos negativos en la deteccion de cambios distribucionales. Estos usan como estimadores a los promedios y promedios ponderados (particularmente estudiamos el estadistico EWMA [6]) para la deteccion en linea de cambios significativos en la media poblacional, considerando tipos de cambio abruptos y graduales. Ademas, estos metodos tienen complejidad computacional constante en tiempo y espacio, no asumen alguna restriccion relacionada con la funcion de distribucion de probabilidades que genera estos valores reales, y solo reciben como parametros los niveles de confianza requeridos para la deteccion de tales cambios; caracteristicas relevantes en el aprendizaje a partir de flujos de datos no estacionarios.
Tambien estudiamos mecanismos adicionales que explotan caracteristicas especificas de los modelos de arboles de decision, para de esta forma adaptarse al cambio con mas eficacia. Estos mecanismos usan a los detectores de cambio propuestos para monitorizar el desempeno de partes del modelo, y reconstruir estas partes cuando se estime un deterioro significativo. Para ello discutimos los principales aspectos del mecanismo propuesto, tenemos en cuenta diferentes tipos de cambio, asi como ventajas y desventajas con respecto a acercamientos anteriores. Al algoritmo resultante de estas extensiones lo llamamos IADEM-3.
En el desarrollo de estos algoritmos seguimos metodologias de la investigacion teoricas y empiricas. En este sentido analizamos trabajos cientificos relacionados, formulamos y discutimos los conceptos teoricos y empiricos de la investigacion, y realizamos evaluaciones empiricas a los metodos propuestos. En el analisis de las investigaciones relacionadas, identificamos las desventajas o necesidades de los acercamientos existentes asi como las estrategias y metodos a seguir para enfrentar estas deficiencias. Las soluciones propuestas son validadas experimentalmente usando metodologias apropiadas de evaluacion y usando un amplio rango de datos relevantes, comparando ademas los metodos propuestos con los acercamientos relacionados mas conocidos.
Bibliografia
[1] J. Gama y P. Rodriguez. Learning from Data Streams: Processing Techniques in Sensor Networks. Springer-Verlag, 1 edicion, 2007.
[2] I. Žliobaite. Learning under Concept Drift: an Overview. Reporte tecnico arXiv:1010.4784v1 [cs.AI], Vilnius University, 2009.
[3] J. Gama, I. Žliobaite, A. Bifet, M. Pechenizkiy, y A. Bouchachia. A survey on concept drift adaptation. ACM Computing Surveys, in press.
[4] J. del Campo. Nuevos Enfoques en Aprendizaje Incremental. Tesis de doctorado, Departamento de Lenguajes y Ciencias de la Computacion, Universidad de Malaga, 2007.
[5] G. Ramos. Nuevos desarrollos en aprendizaje inductivo. Tesis de doctorado, Universidad de Malaga, 2001.
[6] D. Montgomery. Introduction to Statistical Quality Control. Wiley: New York, 2001.
Author: Isvani Frías-Blanco
Language: Spanish
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W309766841