eo G CODIGO: MI01PROSFOS ¢ INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 comenas = PROYECTOS DE CTel Fecha: 2015-0406 - _ Pagina 1 de 26 7 1. IDENTIFICACION DEL PROGRAMA/PROYECTO [1.1 Informacién General Programa Proyecto. ipo de informe: Parcial [ Final [X __tnforme No.L_] de Titulo 7 Deteccién Inteligente de Objetos Abandonados en Lugares Concurridos {Codigo __ INamero de la convocatoria INamero de contrato 617 de 2073, ‘Marco Del Convenio Especial de Cooperacién 0619-2013 Programa Nacional o area de Colciencias al tual se encuentra adscrit el proyecto Jévenes Investigadores 2013 INombre de! investigador principal | Juan Guillermo Cardona Urego Tinstituto Tecnolégico Metropolitano y COLCIENCIAS udad/Pas fEnlidades ejecutoras y beneficiarias _ [Fecha de inicio del programalproyecto Febrero 2014 ~ [Fecha de entrega del informe Abril 6 de 2015 ~ _ - ‘Medellin, ColombiacoLciencias © INFORME TECNICO DE AVANCE O FINAL DE PROGRAMAS Y PROYECTOS DE CTel CODIGO: M101PRO3F09 Versi6n: 01 Fecha: 2015-04-06 _ Pagina 2de 26 6 7 5.1 Cumplimiento del(os) Objtivo(s) Generals)... 5.2__Cumpliienio de as objetvs espectios.... DDESCRIPCION DE OTROS RESULTADOS OBTENIOOS. 2. TABLA DE CONTENIDO IDENTIFICACION DEL PROGRAMAPROYECTO... TABLA DE CONTENIDO. RESUMEN, SSINOPSIS TECNICA CUMPLIMIENTO DE OBJETIVOS RESULTADOS ADICIONALES. ‘CUMPLIMIENTO DE LA METODOLOGIA..... 7 ‘CRONOGRAMA DE EJECUCION A LA FECHA, DIFICULTADES Y PLAN DE CONTINGENCIA... PROYECCION DE LOS RESULTADOS OBTENIDOS FRENTE A LOS IMPACTOS REGISTRADOS EN EL PROYECTOPROGRAMA (Si *a ASPECTOS FINANCIEROS aks DISCUSION Y ANALISIS..... ‘CONCLUSIONES SIGLAS Y ABREVIATURAS.. REFERENCIAS BI LSTA DE ANEXOS JOGRAFICASie CODIGO: MIO1PRO3FOS ¢ INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 COLCIENCIAS © PROYECTOS DE CTel | Fecha: 2015-04-06 _ Pagina 3 de 26 3, RESUMEN ideo ha venido incrementando la ncia continua de forma automata, ‘complejos propensos a la presencia El creciente interés por los sistemas de video seguridad que incluyen andlisis automético de las secuencias d inclinacion por investigar en esta érea en busca de mejores soluciones que ayuden a realizar eficientemente una ya que los lugares que son altamente frecuentados tales como terminales de transporte 0 aeropuertes, son esoen de robos y ataques teroristas. En general estos sistemas utiizan diversos algoritmes que permiten | y seguir herramienta de gran utilidad en el campo de la viglancia asistida por cémaras. Dado e| caso de nuestro proyecto *Deteccion Inteligente de Objetos ‘Abandonados en Lugares Concurrdos’, el cual cuenta con una etapa preliminar en la que la extraccién o deteocién de objetos, cosas o personas que se rmueven a partir de una secuencia de video capturada con una cémara estética es fundamental para los resultados que se obtendran en las elapas de clasficacién y reconocimiento de la actividad humana, Dio esto, encontramos un enfoque comin para discriminar objetos que se mueven del fondo, consistente en la deteccién por sustraccion de fondo. La idea de esta es la resta o diferencia entre la imagen actual con un modelo de fondo de referencia, La resta identifica objetos no estacionaios o nuevos en la escena, Por ende, se reaizé un estudio bibiogrtico previo para identificar y seleccionar los métodos mas empleados actualmente en la comunidad cientifica, y a partir de una evaluacion cuantitativa de los algoritmos de sustraccion de fondo puestos @ prueba, determinar cual es el método mas ‘adecuado para nuestra aplcacion. Pero la sustracci6r yndo, es un tema que atin se encuentra en desarrollo; y en el cual existen muchas dificultades que son argumento de investigacion y que no han posibilitado fa implementacion de un sistema 100% fiable. Por lo cual, los métodos de sustraccién de fondo que existen actualmente, paramétricos y no paramétricos, se enfrentan a condiciones de iluminaci6n, movimiento, calidad de ta imagen, entre otros factores; que hacen muy complejo el tener un desempefio Optimo que abarque todas esas ltades de forma plena. Luego, ido en cuenta las condiciones mas adecuadas para la aplicacion, se escoge una ica de sustraccién de fondo que cumpla con prestacior yptimas de consumo de memoria, velocidad de procesamiento y precision en los resultados, condiciones que segtin el estudio bibiogrfico previo podria cumplir el método de sustrccién de fondo Codebook. Para ello, El CB fue evaluado con varios de los algoritmas de sustraccién de fondo mas empleados segin la literatura, siendo este, uno de los algoritmos ‘con mejores prestaciones, resultados que se demuestran con las gréficas mostradas en la seccién de discusion y andlisis; cabe destacar, que a éste se le ‘sumo un algoritmo de eliminacién de sombras propuesto por nosotros, mejorando ain mas los resultados en la precisién del método empleado, y faciltando el desempefio de las etapas posteriores de clasifcacion y reconocimiento de la actividad humana.INFORME TECNICO DE AVANCE O FINAL DE PROGRAMAS Y PROYECTOS DE CTel COLCIENCIAS © Pagina 4 de 26 4, SINOPSIS TECNICA Este trabajo presenta una metodologia para la clasificacién aut6noma de paquetes abandonadlos y de personas en lugares muy concurrdos. Este enfoque ‘sta destinado a detectar paquetes que han dos 0 desatendidas por sus propietaros, lo que podria representar una amenaza para las personas ue les rodean. La metodologia propuesta incluye un algoritmo de sustraccién de fondo capaz de detectar movimiento en cualquier escena en particular y ion de ellos. También se incluye una etapa de los paquetes, nosotros hacemos el ‘se propone una mejora para identificar y eliminar las sombras presentes en los objetos, con el fin de evitar con sistema de reconocimiento utiizando un clasificador, finalmente, con el fin de confirmar e! abandc nto del duefio, que ha dejado a uno o mas paquetes desatendidos, considerando la distancia y el tiempo de separacion de los mismos. Implementamos y comparamos dos tipos de clasicadores para la maquina de reconocimiento: un clasicador neuronal basado en una red perceptrén multicapa y un clasificador basado en maquinas de vectores para seleccionar el que ofrece la mejor precision. También se evalud el desempefio del algoritmo encargado de determinar si un paquete en particular en real estaba abandonado. Las pruebas se llevaron a cabo en un conjunto de secuencias de video publicas que fueron tomadas desde las bases de dé IDS Y PETS 2006. Los resultados muestran que nuestro sistema es capaz de identificar un paquete desconocido el 90% del tiempo, por fo que muestra la eficacia de nuestro método.INFORME TECNICO DE AVANCE O FINAL DE PROGRAMAS Y CODIGO: Wr Paseo ral f cotciencias © PROYECTOS DE CTel — Pagina 5 de 26 5. CUMPLINIENTO DE OBJETIVOS 5.1. Cumplimiento del(os) Objetivo(s) General(es) ‘OBJETIVO Desarrollar un sistema para la deteccion inteligente de objetos abandonados en lugares | % a | soy GENERAL: concuridos usando vision atfcial cumplimiento: | [~~ RESULTADO ‘ANEXO SOPORTE DEL DESARROLLOY [ T pes RSS GN DER DIFICULTADES OBSERVACIONES ‘Sistema de andlisis de secuencias de video que responde satisfactoriamente ante la presencia de ‘un objeto abandonado con una cantidad casi ula de falsas alarmas. ‘Anexo 1: Articulo “Intel Object Detection for Surveilance Videos’, Rovista IEEE América Latina. En revision. ‘Anexo 2: Articulo en redaccién. ‘A inicio del proyecto se pretendia hacer un aporte significative en cada una de las etapas de_un sistema de deteccin inteligente de ‘objetos abandonados, sin embargo os encontramos con una ‘comunidad bastante madura y con ‘grandes avances en las etapas de detecciin del movimiento, clasificacion y reconocimiento de la actividad humana; lo que permitio limitar nuestro aleance no solo por el alto grado de complejad si no por el tiempo que se requiere para lograr un dominio del tema, intervenir 0 proponer _mejoras | altemativas a las metodologias ya | vigentes en la comunidad | cientifica. El articulo soportado en el Ane encuentra en revision y el soportado en el Anexo 2 atin no soporte.a ‘CODIGO: M101PROSFOS ¢ INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: Of COLeENG:S = PROYECTOS DE CTel Fecha: 2015-04-06 - Pagina 6 de 26 to de los objetivos especificos “Analizar los métodos actuales de deteccion de objetos abandonados, especialmente aquellas na ‘que relacionan el reconocimiento dela actividad humana. seo | ANEXO SOPORTE DEL | PRODUCTO DESARROLLOY | RESULTADO OBTENDO (siaplca) OBTENCION DE Se ae RESULTADOS Revision de los articles publicados en TAnex0 7, Anexo 2 ‘Se realizd una revision las bases de datos especializadas centrados en la deteccién de objetos abandonados, _analizando diferentes técnicas utlizadas sistemas de video vigilancia ‘automaticos y documentado en estado del arte como generacién de nuevo ‘conosimiento bibliografica con el objeto de conocer y sistematizer ta produccién cientiica en el érea de vision artificial aplicada a sistemas de video seguridad, y ‘se encontré que a pesar de ser un tema muy intervenido, hay tapas que tienen falencias y aun mucho campo por investiga.abandonados que induye la implementacién de un algoritmo para sustraccion del fondo, un reconocimiento de objetos 2 un clasifcador, la implemer tun algoritmo de seguimiento finalmente para identficar actividad humana se implementaron fos CODIGO: MTOTPROSFOS ¢ INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 COLCIENCIAS © PROYECTOS DE CTel Fecha: 2015-04-06 Pagina7de26 | ‘OBJETIVO Disefiar una metodologia. pi deleccion de objetos abandonados de acuerdo a la] 9, a ESPECIRCO! dana de paso lobe, Senge desbandono debs ote Ye fo de aia | mpd 100% ] ‘ANEXO SOPORTE DEL na el PRODUCTO DESARROLLO Y RESULTADO OBTENIDO (siaplica) OBTENCION DE OBSERVACIONES ————— a —_ RESULTADOS ‘Método para la deteccion de objetos ‘Anexo 1, Anexo 2 El trabajo desarollado abarca todas las fases de un sistema de reconocimiento. Se Jementaron algoritmos para Ta sustraccién del fondo y el ‘seguimiento, para dar un mejor desemperto. modelos ocultos de Markov. | alien ‘OBJETIVO 5 % dk ESPECIFICO: Implementar un algoritmo basado en la técnica de sustraccion de fondo. cumplimiento: 7 100% "ANEXO SOPORTE DEL DESARROLLO Y RESULTADO OBTENIDO- OBTENCION DE OBSERVACIONES RESULTADOS: Evaluacion cuantitativa de 6 métodos de sustraccién de fondo comparando los resultados arrojados por cada uno | para finalmente seleccionar el que eniregé un mejor desemperio segtin los criterias valorados, ‘Anexo 1, Anexo 2 A patir de ta revision del | estado del arte se | seleccionaron los algoritmos mas citados y para evaluar el desempefio se realizd un ground truthCODIGO: M101PRO3FO9 _ | actividad humana a partir de clases | preestablecidas, INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: Of ‘ [_Versién: 01 COIGENCIAS: PROYECTOS DE CTel Fecha: 2015-0406 | is Pagina 8de26 Implementar un algormo para e econocimiento de objetos. i de] 00% Eas cumplimiento: a "ANEXO SOPORTE DEL DESARROLLO Y RESULTADO OBTENIDO Te OBSERVACIONES RESULTADOS Comparacin de los Arex Se realza la _comparacién ados por dos buscando encontrar el icadors (SVM y RNA) cts en clasiicador mas robusto, con el fa literatura como los. de mejor fin de garanizar un desemperio para reconocimienio de reconocimiento de objetos que abjetos difera enire personas de forma saisfadofa, ‘OBJETIVO ; % ae aes Desa un método paral econocnint dea atided humana cmtasien 100% ‘ANEXO SOPORTE DEL PRODUCTO DESARROLLO Y RESULTADO OBTENIDO aah SETAE OBSERVACIONES |___ RESULTADOS : Méiodo para reconocimiento de Ta [Arex 2 EI_reconocimiento de tas acciones humanas es un de investigacion_ muy y para este trabajo se jeron los modelos que iman la cuestion como un tradicional problema de emparejamiento de patrones, en los que se extrae un patron de la secuencia de imagenes y se compara con un prototipo ‘almacenadoCODIGO: M101PROSFOS INFORME TECNICO DE AVANCE O FINAL DE PROGRAMAS Y Version: 01 PROYECTOS DE CTel Fecha: 2015-04-06 ss a Pagina9de26 Validar la precision de ls resultados obteridos. i s dey s00% ee ccumplimiento: ‘ANEXO SOPORTE DEL DESARROLLO Y RESULTADO OBTENIDO OBTENCION DE OBSERVACIONES _ RESULTADOS rad Tendimiento ‘Anexo 1, Anexo 2 Para comparar los resultados de los algoritmos utilizados, tablas obtenidos con los resultados de comparativas y matrices de confusion. ‘otras investigaciones fue preciso una _—_evaluacion ‘cualitativa. 6. DESCRIPCION DE OTROS RESULTADOS OBTENIDOS INDICADOR DE "DESCRIPCIONDEL | : OTROS RESULTADOS CUMPLIMENTO RESULTADOOBTENDO _| ‘ANEXO SOPORTE Publicaciones divulgativas. | Dos articulos. obtenidos a part de la iplementacion de la metodologia | disefiada en el marco de la investigacién que comprende este trabajo. Presentacion de los resultados |Anexo 1, Anexo 2aE CODIGO: MI0TPROFOS t INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: Of coLceNals =. PROYECTOS DE CTel Fecha: 2015-04-06 7 Pagina 10 de 26 7. RESULTADOS ADICIONALES DESCRIPCION DEL RESULTADO ADICIONAL —ANEXO SOPORTE Elaboracion de un “ground truth” con la sustraccion de fondo exacta de algunas | Anexo 3 imagenes tomadas de la base de datos PETS 2008 con miras a comprobar el rendimiento de los algoritmos de sustraccién de fondo, ‘Anexo 1, Anexo 2 Algoritmo para la detecci6n y eliminacion de las sombras. 8 CUMPLIMIENTO DE LA METODOLOGIA La metodologia de trabajo se siguié acorde a los compromisos y no se presentaron inconvenientes para la finalizacién a satisfaccion de todos los productos en los plazos contemplados en el convenio; se realizaron fos procedimientos para alcanzar los objetivos planteados, partiendo de una revision bibliogrética del tema y a pari de esta se disefo el método para detectar los objetos abandonados, incluyendo la implementacién de un algoritmo para la sustraccion del fondo, que fue selecoionado teniendo en cuenta un andlisis riguraso de los métodos existente que segin el estado del arte son los que tuna mejor evaluacion comparando los resultados arojados. De igual forma, se implementd un algoritmo para el seguimiento de las personas identiicadas como propietarios de un objeto etiquetado como posible abandono, es importante aclarar que estas etiquetas son realizadas por un clasficador que también hace parte del sistema desarrollado, finalmente se culminé.con la vaidacion y evaluacin de los resultados obtenidos.COLCIENCIAS ©” INFORME TECNICO DE AVANCE O FINAL DE PROGRAMAS Y PROYECTOS DE CTel ‘CODIGO: M10TPROSFOS 9, CRONOGRAMA DE EJECUCION A LA FECHA, DIFICULTADES Y PLAN DE CONTINGENCIA. CAMBIOS SOLICITADOS Y sustraccién de fondo, OBJETIVO FECHA DE ‘APROBADOS POR PLAN DE CONTINGENCIA ACTIIDADES | RELACIONADO EJECUCION COLCIENCIAS (elaplica) | (si aplica) = Estudiar la Wteratura actual | Analizar los métodos | 02/2014 — centrada en detectar objetos | actuales de deteccién de | 04/2014 abandonados. | objetos -_abandonados, | especialmente aquelias que | relacionan el | reconocimiento de la | ectvdes humana. Citar ua mig pr | iat uuna_metodologia | 022014 — la deteccién de objetos | para a deteccién de objetos | 05/2014 abandonadios. abandonados de acuerdo a fa distancia de la persona al ‘objeto, tempo de abandono de los objetos y el tipo de actividad humana ‘Analisis e implementacion de | Implementar un algorimo | 05/2014 los algoritmos mas citados | basado en la técnica de| 06/2014 para realizar sustraccién de | sustraccién de fondo. fondo. | Implementar un algoritmo 052014 = basado en la técnica de 06/2014INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y “[___ CODIGO: M101PRO3FOS PROYECTOS DE CTel Pagina 12 de 26 Extraer les caracterisicas y] Implementar un algortmo | 06/2014 — almacenarlas en una base de | para el reconocimiento de 07/2014 datos. objetos. Evaluar la precision de ors - diferentes algoritmos para el 92014 reconocimiento de objetos. Analizar el estado del arte de | ogo14 - reconocimiento de actividad | tor2014 humana. | Desarroliar un método para el | 0014 - reconocimiento de la actividad } tao14 humana. | | | Evaluar cada etapa del | Validar la precision de los | 08/2014 — sistema de deteccin. | resultados obtenidos. 11/2014 Validar la precision de los 102014 ~ resultados obtenidos, 122014 || Redaccién de informe Final 122014 0112015 Redaccién y presentacién de giao articuls. 01/2015 = aesCOLCIENCIAS INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y PROYECTOS DE CTel ‘CODIGO: M101PRO3FO9 Ver Pagina 13 de 26 10. PROYECCION DE LOS RESULTADOS OBTENIDOS FRENTE A LOS IMPACTOS REGISTRADOS EN EL PROYECTOIPROGRAMA (SI APLICA) TIPO DE IMPACTO. DESCRIPCION DEL IMPACTO. PROYECCION DEL IMPACTO Formacién en nuevas tecnol ;, dejando un respaldo de la La elaboracién de metodologias que | Servir de referencia a nuevas investigaci6n. aportan al proceso de transformacién, con | investigaciones, que busquen al igual riuevas ideas por medio dela investigacion, dando fortaleza a las _tematcas investigatvas del grupo de investgacién en | aulomtca, eiecténica y ciencias de la | ‘computacién. | que este proyecto salsfacer la actual necesidad de mejorar los sistemas de seguridad. ‘11, ASPECTOS FINANCIEROSCODIGO: MI01PRO3FOS: INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 PROYECTOS DE CTel Fecha: 2015-04-06 Pagina 14 de 26 COLCIENCIAS © 12, DISCUSION Y ANALISIS Con el fin de determinar las bondades de los métodos més representativs de sustraocién de fondo, se realiz6 una evaluacién cuanttativa entre los algoritmas CodeBook, el MOG_Zivkovic, el MOG_Grimson, e! Wren y el Mean. De acuerdo a 1debook es uno de los métodos que genera mejores resultados en numerosas aplicaciones de baja y alta co lancia en espacios piblicos. De igual forma, es importante mencionar que los resulta la eliminacion de ruido, empleando la técnica de Objec-evel feedbacke mencionada por el autor en su a excepcién del Codebook, al cual se le suma un algortmo propuesto de eliminacién de sombras, que asume que no se presentan cambios signi en las intensidades de las componentes HSV en la regién donde hay sombra, es decir, la sombra proyectada sobre un pixel no modifica su informacion de color o cromatcidad. Esta hipbtesis fue verficada tomando 200 imagenes con sombra de la base de datos y comparando los histogramias de cada componente de color H, $ y V de la region con sombra en la imagen del primer plano y de la misma regién sobre la imagen del fondo. De esta manera, por medio de un umbral se determina si el pixel pertenece @ tuna sombra 0 a un objeto 0 persona, Los algoritmas se ejecutaron con un AMD Athion(tn) 64x2 Dual Core Processor 5000+ 2.6GHz con SGB de RAM, sistema operativo x64 bits, Los métodos de sustraccién de fondo fueron evaluados utilizando la base de datos PETS 2006; la cual maneja mo escenario con cémaras ubicadas desde diferentes angulos y posiciones, altemando de esta manera los niveles de difict Imente los cambios repentinos de iluminacion (aspecto critico para los algoritmos de sustraccién de fondo aplicados en video vigilancia), la cercania y lejania de los objetos o de las personas (ya sea de na en particular o en grupos especifices), los grupos de personas u objetos que se encuentran lejanos y detrés de vitrles, lo cual hace mas compleja la deteccion del primer plano, De fa base de datos, se crearon trece videos tomando en promedio 3.000 frames, con una media de duracién de 2minutos, de los cuales siete se clasiicaron como de difcultad simple-media y los restantes como complejo, esto de acuerdo a las caracteristcas ya mencionadas. De igual forma, cada video tiene una etapa preliminar de entrenamiento promedio de 300 frames, debido a la necesidad general de los algoritmos de ésta etapa para obtener ‘mejores resultados. Adicional a esto, solo cuatro de los videos tienen la etapa de entrenamiento con escenario vacio; lo que permitid evaluar la capacidad de actualizacién de fondo de los algoritmos; aunque se debe resaltar que se usd el cddigo CodeBook desarrollado por Gary Bradsky, el cual es basioo y no tiene la etapa de actuaizacién del fondo, por lo que en los resultados con videos de alta complelidad se ve més afectada su funcionalidad. Finalmente, se eligieron de forma manual 48 frames de todos los videos; cuyo tamaifo es de 720 x 576 pixeles cada uno, esto teniendo en cuenta los cistitos niveles de dfcutad generados por los cambios repentinas de fuminacién, cercania,lejania y numero tanto de los objetos como de las personas fen la escena. Luego, se realzo una segmentacién manual e ideal “Ground Truth’ de cada una de las imagenes seleccionadas, para posteriormente realizar una comparacién con los resultados de cada algortmo de sustraccién de fondo. Las medidas cuantitativas usadas fueron: Verdaderos Positives (VP), Verdaderos Negativos (VN), Falsos Positivos (FP), Falsos Negativos (FN), Tasa de Verdaderos Positives “Sensibilidad” (TVP), Tasa de FalsosCODIGO: MIOTPROSFOS INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Versién: 01 PROYECTOS DE CTel Fecha: 2015-04-06 2 = I Pagina 15 de 26 COLCIENCIAS © Positivos "Especifcidad’ (TFP), Precision (PR), Factor de Calidad de Precisién (F), Distancia Euclidea basada en la Especificidad (E), Porventaje de Clasificacion Correcta (PCC) y el Coeficiente de Jaccard o Similaridad (JC). Las cuales son desortas en las ecuaciones TVP = Recall RE = VP+FN TEP =1— vy WN SFP ve Rape ra2- (rae) B=) (WFP s0-na-7FF _ ves POC OPEN + FP + VN peu iRee K “VP + FP 4EN La deteccién de movimiento realizada a partir de la sustraocién del fondo entrega como resultado un niémero n de blobs que representan cada objeto y ccada persona presente en la escena. Sin embargo, no es posible elimnar las sombras dindmicas generadas por las personas y objetos en movimiento, la Fig, 1 muestra este inconveniente, Algunas caracterstcas extraidas incluian parémetros no deseados, esto por la no elminacién de las sombras. Después de incluir en la metodologia un algoritmo para la eliminacién de las sombras, las caractersticas extraidas son mas estables y permiten un mejor cdesempefio del clasficador. En la Fig. 1 se muestran los resultados después de la eliminacién de las sombras. El umbral © usado para determinar si el pixel pertenece a una sombra, objeto 0 persona, se elige como 40, y los pesos Wh, Ws y Wy, se eigen como 0.06, 0.56 y 0.35 respetivamente.[_CODIGO: M101PRO3FOS INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 PROYECTOS DE CTel Fecha: 2015-04-06 Pagina 16 de 26 Figura 1. Resultados deteccién y eliminacién de sombras. La fila inferior corresponde a los resultados después de aplicar la sustraccién de fondo y la fla superior es un ejemplo de los resultados de la deteccién de las sombras con el método propuesto. En as Tablas | y Il se muestran los valores promedio de los diferentes métodos, evaluando su desemperio en videos de dificultad media y compleja,CODIGO: MIIPROSFOS é Version: Of corciencias © Hea Me EMCO TRONECTOSDECTS NS | Faker SOS ~_ Pagina 17 de 26 Tabla. 7 ‘Videos Media TPR [FPR [PR |F |e [pec [uc | CodeBook 0.8296 |0,0225 | 06418 [07177 |0,0491 [0.9720 [0.5714 (CB Fitert 0.7112 {00058 | 0,8338 [0.7580 [0,0651 {0.9623 | 0.6354 | —_Jo7111 [0.0058 [0.8334 |0,7579 |0,0651 [0.9823 [0.6355 | ‘Adaptive Median | 0,7226 |0,0089 {0,8074 |0,7467 |0,0640 |0,9810 |0,6129 | Prai___——_—_ {0.6673 [00092 [0.7851 |0,7051 |0,0759 [0.9783 |0,5685 MOG Zivovie | 0.8263 | 0.0263 |0,6334 | 0,7031 |0,0530 [0.9682 | 0.5496 MOG Grimson {0.8657 |0,0543 [0.4592 | 0,5899 |0,0695 |0,9435 | 0.4237 Wren 0.7533 | 0.0194 | 0,6889 | 0,7030 | 0,0627 [0.9723 | 0.5540 Mean 01130 [0,047 [0.5774 [0,1792 [0.1984 [0.9538 [0.1013 Tabla Videos Compejos TPR [FPR [PR [FE [PCC [JC CodeBook 0.7195 |0,0305 {0.4700 [0.5631 |0,0723 [0.9614 | 0.3992 CB _Filtert 10,5445 |0,0124 | 0,6047 | 0,5629 0,9733 | 0,4089 CB Fite? oad 0.6050 {0.5628 0.9733 {0.4089 ‘Adaptive Median [0,5338 07124 |0,5969 {0.1060 [0.9756 [0.4371 Prat 0.4154 [0.0077 |0.6612 [0.5014 [0.1311 [0.9717 [0.3491 MOG Zivkovie [0.5170 |0,0140 [0,660 | 0.5530 [0.1114 [0.9701 |0,3941 [MOG Grimson —_|0,6381 [0.0344 [0.4721 [0.5241 |0,0952 | 0.9548 |0,3637 | ‘Wren os401 |0,0174 [0.5447 [0.5339 |0,1056 |0,9674 |0,3736 Mean 0.0478 |0,0018 [0.5726 [0,0868 [0.2129 [0.9592 [0.0458~ CODIGO: M101PROSFOS INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Ve PROYECTOS DE CTel Fecha: 2015-04-06 Pagina 18 de 26 | En las Fig. 2,3, 4, 5 y 6 se muestran los resultados de la Precision, Factor De Calidad En La Precision, la Similaridad 0 Coeficiente De Jaccard, La Tasa De Verdaderos Posivos Y La Tasa De Falsos Positives versus cada uno de los 48 frames evaluados para cada método de sustraccion de Fondo. ‘Ademas, se observa en las gréficas que a partir del frame 27, las imagenes corresponden a escenas de videos complejos. Fig. 2 TPR.CODIGO: M101PRO3FO9 INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y 01 ¢ COLCENCIASIS PROYECTOS DE CTel Fecha: 2016-04-06 Pagina 19 de 26 & pea bed aesCODIGO: Mi01PROSFOS INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 PROYECTOS DE CTel Fecha: 2015-04-06 Pagina 20 de 26 Fig. 4 Precision.CODIGO: M101PRO3FO9 INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 corciencias © PROYECTOS DE CTel Fecha: 2015-04-06 Pagina 21 de 26 "Poon uty Fae raves Fig, 5 Factor de Calidad en la precision,CODIGO: MI0TPRO3FOS INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Version: 01 PROYECTOS DE CTel Fecha: 2015-04-06 Pagina 22 de 26 Fig. 6 Similaridad JC. 13. CONCLUSIONES Esta investigacién entregd como resultado més relevante, un aporte considerable a la metodologia para detectar los objets abandonados en ambientes confusos, basado en el seguimiento y la clasificacion de objetos en movimiento. Ya que se ac 16 a trabajos previos una elapa de deteccion (sustraccion de fondo) y eliinacién de sombras, la cual aporté una mejora a la etapa de segmentacién de objetos en movimiento, reduciendo considerablemente os falsos positivos generados por los cambios de iluminacién, condiciones ambientales y por ende las sombras formadas. La eleccién del metodo de ‘sustraccion de fondo se ejecuto a través de! estudio comparativo de algunos de los métodos mas citados en la literatura, y permitié la obtencién de resultados dptimos en las etapas posteriores del proyecto.CODIGO: INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Versi PROYECTOS DE CTel Fecha: 2015-04-06 “Pagina 23 de 26 COICIENCIAS © En la discusion y andlisis previa de los resultados, se observa en la grafica de PR y en la Tabla |, que la Precision del CodeBook sin post procesemiento es del 64.18%, solo superado por el Running Gaussian Average ‘Wren’ con el 68.89%, pero con un Factor De Calidad En La Precision F del 71.77% frente al 70.3% del Wren, También se destacan el MOG de Zivkovic con un PR del 63.34% y un F del 70.31%. Luego, el CodeBook depurado con nuestra etapa de post procesamiento eleva su PR al 83.34% y un F del 75.79% siendo el método mas destacado de los evaluados para este tipo de escenarios, en los que la actualizacion del fondo no es tan determinante. De igual forma la Similaridad JC del CodeBook sin y con post procesamiento es superior a los demas métodos con 57.14% y 63.53% respectivamente. Del mismo modo, se observa en la gréfica de PR y en fa Tabla Il para escenas complejas; que el comportamiento del CodeBook respecto a los demas rmétodos de sustraccion de fondo es muy similar al desert para escenas de nivel mé iendo la salvedad de que la PR, la F y JC se ven un poco afectadas por la no actualizacion del fondo en escenas complejas y con un entrenamientoincial no vacio (Escenario inci con presencia de personas y ‘bjetos que no pertenecen al fondo), pero de igual manera siendo solo superado por el MOG de Zivkovic y con una diferencia subjetivamente no relevante, lo que lo hace viable para nuestra aplicacion, ya que en trabajos futuros, se debe sumar al algortmo CodeBook la etapa de actualzacion del fondo y las. mejoras posteriores a la etapa de post procesamiento, con el fin de optimizar los resultados para escenas simples y superar las expectativas para escenas ccomplejas. Todavia se presentan dificultades para realizar con precision el seguimiento a los propietarios de los objetos abandonados, lo cual es tema para futuras investigaciones, asi como el reconocimiento a partir del movimiento del propietaro y de las interacciones humanas para evaluar la intencién de las personas. 14, SIGLAS Y ABREVIATURAS MOG Mixture of Gaussians KDE — Kemel Density Estimation CB Codebook VP Verdaderos Positives VN Verdaderos Negatives FP Falsos Positvos FN Falsos Negativos IVP Tasade Verdaderos Positives “Sensibilidad” TEP Tasade Falsos Positivos “Especificidad’ PR Precisin F Factor de Calidad de Precision E __ Distancia Euclidea basada en la Especifcidad PCC Porcentaje de Clasificacion Correcta JC Coeficiente de Jaocard o Similaridad= “CODIGO: M107PRO3FOS ¢ INFORME TECNICO DE AVANCE OFINALDEPROGRAMASY | ____ Version: 01 COLCENGIS = PROYECTOS DE CTel (Fecha: 2015-04-06 ici __ Pagina 24 de 26 15, REFERENCIAS BIBLIOGRAFICAS: Wren CR, Azarbayejani A, Darrell T, Pentiand A. Pfinder: realtime tracking of the human body. IEEE Transactions on Pattem Analysis and Machine igence 1997;19(7):780-6. [2] Horprasert T, Harwood D, Davis LS. statistical approach for real-time robust background subtraction and shadow detection, IEEE Frame-Rate Applications Workshop, Kerkyra, Greece; 1999. [3] Stauffer C, Grimson WEL. Adaptive background mixture models for real-time tracking. IEEE International Conference on Computer Vision and Pattern Recognition 1999;2:246-52, [4] Lee DS, Hull JJ, Erol B. A Bayesian framework for Gaussian mixture background modeling, IEEE Intemational Conference on Image Processing 2003. 5] Harville M.A framework for high-level feedback to adaptive, perpixel, mixture-of-gaussian background models. European Conference on Computer Vision 2002;3:543-60. {6] Javed 0, Shafique K, Shah M.A hierarchical approach to robust background subtraction using color and gradient information, IEEE Workshop on Motion ‘and Video Computing (MOTION’ 02); 2002. [7] Porikli F, Tuzel 0. Human bodytracking by adaptive background models and mean-shift analysis, IEEE Intemational Workshop on Performance Evaluation of Tracking and Surveillance (PETS-ICVS); 2003. [B] Cristani M, Bicego M, Murino V. Integrated region- and pixel based approach to background modelling. Proceedings of IEEE Workshop cn Motion and Video Computing; 2002. [8] Eigammal A, Harwood D, Davis LS. Non-parametric model for background subtraction. European Conference on Computer Vision 2000;2:751-67. {10] Toyama K, Krumm J, Brumitt B, Meyers B. Wallflower: principles and practice of background maintenance. Intemational Conference on Computer Vision 1999; 255-61 [11] K. Kim, T. H. Chalidabhongse, D. Harwood, and L. Davis, “Real-time foreground-background segmentation using codebook mode’, Realtime imaging, vol. 1, n0.3, pp.172-185, 2006.i ‘CODIGO: MIOTPROSFOS Zi INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y Versién: 01 é OIGENCUS & PROYECTOS DE CTel Fecha: 2016-0406 : Pagina 25de26 | [12]. Zivkovic y F. van der Heiden, “Efficient Adaptive Density Estimapion per Image Pixel forthe Task of Background Subtraction’, Pattem Recognition Letters, vol. 27, no. 7, pages 773-780, 2006. [13] Donovan H, Parks and Sidney S. Fels, “Evaluation of Background Subtraction Algorithms with Post-processing’, IEEE Fifth Intemational Conference on ‘Advanced Video and Signal Based Surveillance, 2008,CODIGO: MI0TPROSFO9 t INFORME TECNICO DE AVANCE 0 FINAL DE PROGRAMAS Y licens = PROYECTOS DE CTel 16. LISTA DE ANEXOS ‘Anexo 1. Copia de! articulo “Int ‘Anexo 2. Copia de! articulo en preparacion “An inteligent system for abandoned object detection in crowded places’, ‘Anexo 3, Imagen muestra tomada del ‘Ground truth" desarrollado, Pagina 26 de 26 igent Unattended Object Detection for Surveillance Videos’, Revista IEEE America Latina, En revision.congo unr easy tgovopouE 140; UPPER “OLD cumedanDHY ooo}, eIUNSH) "BRIE D7 {a0 4109 9p ofvedsa jo us oj2pou un uasnnsuos fot] u8 AMA 10}00 ap oronds9 fa undope [6] wa s0[09 ap soyoedsa souaiap ud opuoy fe X miquos by aNius 4oj0> 9p sesuanyp se] Jea}duo vouodosd sasone song ‘sojeuaunau sepat sojdqjnu opuezy epesjuodns wazoy 2p sojunsau spur Seansyayoe9 Se] aquaureanpuuoANe apuasde ani pomp un uauodoud “suqutos 9p uoIDeUIU & UOISEOI9P ap vwajgoud je wotenjos sep opusasng [g] ua fazomne $07 sopensa ssofau soun sezqwere.syisd Oua)/40u Ud soyo(go so 10d separna oud seaqiuos seyanbe 9p wo!R2W)ALOPY tun € oWa!WAoW ap wpansape UoIo9aI— uN UoD s=ueD anb o 40d ‘so9(9o ap uotseay59|9 | ap ware | sERaNIp vse Ba uapand aisaoutensas0yoe) & eugoud 29 UBsou8) SOAS seunsis 9p euoseu ] “oSsEqU9 UIs “opuoy 199 operepouL forsauoo j9 ajueyodusy Seu s9 ‘ound sow j9 va sonsasd seuosiad 0 soInfGo so} 2p up|oeay!se[9 waaLics wun seo) ued "aig eiogy ‘szyour wsazyur arb up w s9anb oud Joust un ussesep Sopor sopersas owtoo oral sousodosd soytanyipwued usajdo 25 opojpl ats uo sopasog sound} sau2131p ‘[] (woiengns pune Y>9q) Opuoy [9p oreoENSNS | UB epeseg s9oWOUIAOM [9 seHARP sed sasnjndod spur seas se 3p un &espus8 uo Bue [ap owqLIPUO}OUNY [p zezqusn’ sind yeausse $9 anb owuauout 2p upp2219p ap vdeo oun uaiainbal popunfas ompis 2p Seuss SOT WINE £01 9p woRIULI | Hed opea| du unos jp $9 “S059 2119 eisua.9Ip w| 9504 anb oy "asm, fs9 tind (AIH) AOE ap SoH790 SO}aPOUL so} uRD}EU {os 21 uo sozome soy “eueuiny pepr nae | ap ojusru!20¥0201 Jp isjows/dut suodeud sqorsas spat angen ey ‘ousting Sojatureyoduoo So Uoo uotonas uo visuesin tus sopefap soa(Go ap ongupuis ss}gUE j> opm OL09 up an owauesagaid ap sodni sau 3p orsondwon eursis un usuodoud (] uo se ‘su8put ap owatunssnoxd ua s2ounae Ssonuaruoa so} & sopeynduoa sod uoysia | uezinn upstasodns ts sopefp sonigo _sninoiap t snpeoojua_souoioutnsona, oj ap seynus ou0u98 ua vsjua}ou9 £ wisngos wo.ooo19p wun aijuuad anb of ‘sonpisod Sosa $0] s}onpau eed owuonundas oo opetuaws}luo9 owyd sawud jap sisygue fe & opuoy 1Pp uojooensns 8] ua opeseq opeipur un usuedosd (¢} uy ‘odwap 3p doyjoods9 opoynd un sod owouny Jos seybyeno ap opapse. sqaueydlues 3159 opipuaresep aranbed 42 an oyidurr anb uotoeyut | wiadas oporpus digo ‘rand j9 Uod seuBUY SALONA Se] 9p uoysuaudtOs 2 & soueuny Sepepyspse se] 9p oWUaiu]ooUeND [9 aLtIpOU! apo unaBupeusoye am0}09 “anppAHN “UNLD oumodonayy o2rjousy cial "TeAUPE V3 ‘onpo un! eauosi ycetapeasiy queIe3 ‘amppaN XPUL) ouemodanoy earjeusoy Om "eC dT ‘opipuatesap aianbed ja moeiep as apuop “eyezyNN oven sopeaiasqo un anb ea!) 2] uo wseq as wap! et “aianbed jap ‘ouoidaid jo ou axad “opfgo [op sopepruupeoud so] us seuosiod $9] vo9 oduian unde wuasnp oueuorens> aooueuad ayanbed [2 apuop oursua0sa un ua Sopypuaresap soranbed smearap wed abozuo un auodaue 2s [2] uo ‘sopeuopunge sor2/Go So] 10199%9p fered oquouquatoa1 owsondosd uey 2s soporpur soysnyy ‘serous sod epnsise wou 314 2[ ap odes jo ua pepiyin wef ap ewayureszoy gun opuEsBo} [1] sorefgo sojdnygw sinos & 22217290] uoyuuiod anb sounu03|e SOMoAIp ueztjNN seUIDISIS soIsD feIDUDS uy “sEISLOU sonbee sogor ap ejoussaid a © sosundoid sofajdwos sounuassa uos ‘souandorae 9 auodsunn ap sajeuyuum ‘owoo sajey sopewanaasy atuowreye uos anb saiednj so, anb 2X ‘eyipuionne Buu ap Bnuluod ejouesya Bun gjuowioNUD}aYD ezyeat © uapnce anb ssuoronos saiofaw ap vosnq ua eaip nso uo se8nsoxut Jod upropujou! Bj opueUDLIaLOUT OpHDA 1 copie ap sejauano9s su] ap conpuone sisipuE wan}2uy nb popunas copys. 9p sowasIs so] 40d spumuy a1ua}9a49 | NoWOACOWNE "1 “sauypauuns ‘ppiomou reanou ‘uonda}2p 12go ujsou uoqoeangns punossyanq “uot saynduioa —spionoy ‘ypeoadde ano 49 Koua.y9 249 saoys sm “sun 9) 3 9606 BOT Papuan TaN tue Ajnuopr 03 age st oysXS ano yeu) ous syst HL SOSEEEP 9007 SIAd PUE SUIT 9 Wo UayEL 19K Y>Hy S2ouaMbIS ‘apts ayiqnd jo 198 do yo potaseD azom nso) LL “papUaHIEEN Y>L Sempe sua 98ey0d sejmaned w axgoqu Suyunasaqep yo 98seyS ‘a, wiptiogje aq) jo agursojsod 0) parenjeas ose 24 “SO¥aND9E 9q 942 Layo EM 940 94) 9p OF Joy SSH poseq-ouNypeUL 40jsa4 odds pue soyssse poseg-ysoasou (eanou uosnda>iad “aeyyna we -suiyseu uonmuoaas 941 40) SiOMEsSEP Jo pu ‘ony paedwios pur payuauapday 944 sues 24) Jo au woqpesedas 24) pu uiaq) Haasaq soump ay) ZuuapHsuos ] S44 Og sSUAO 9M Jo FAYED 94) Op 24 saeyond oy Jo yuouuopuege aq) wsayued oF Jopso uy Speuy “aoygssna « dupe ‘enapeds woryudosas aey-su papapsu ose # 2 Wi) o wots a4) upyoae J asodind ayy yyy yuasaud sD3fq0 24) uF smopeys axousas put Anup, oF paroaday ue asodoad 2m pur suse sejnaqued Cue uy woxou 1913p 0} 9Ige Wyo uoybeagns punosSyoeq © s9pnpuy ojopoyiau _parodos au woqp panos opdoad ayy sop wea w yuasoudas ryShu yoLgA ‘iouvo stom &q popuaneun 40 wan03i0) uaeq aacy 1p H3Ey>H ‘map 0} papuaiuy st ysuaudde sy, “sa2e\d popsioss ut adood uw sysud papuonisun jo Kew snowouoyne ue wf UOHEDMISES 30) 40) GojopoypU e yasud suOM SL —HEANGY uopie) “9 eng pur Jaa “aquapy “TeBUpEYN “y Sole “Aaa 4equayy “eKOpIEL “A BINT “SOOPIA SOURT[IOAINS Joy uoTIE}Eq WelqO pepusyeUy JussT]]oIU]