Una Propuesta para la Evaluación de Grupos de Investigación,

Desarrollo e Innovación mediante 3 variables: Motivación,

Conocimientos y Gestión

Edgardo Véliz Limas Willy De La Cruz Sierra

Pontificia Universidad Católica del Perú,
Facultad de Ciencias e Ingeniería, Especialidad
de Ingeniería Informática
Lima, Perú, Lima 32
a19992167@pucp.edu.pe
Pontificia Universidad Católica del Perú,
Facultad de Ciencias e Ingeniería, Especialidad
de Ingeniería Informática
Lima, Perú, Lima 32
a20004004@pucp.edu.pe

Héctor Andrés Melgar Sasieta

Pontificia Universidad Católica del Perú, Departamento e Ingeniería, Sección de Ingeniería
Informática
Lima, Perú, Lima 32
amelgar@pucp.edu.pe

ABSTRACT

This work presents a method for the evaluation of development and research groups by means of the use of efficiency
indicators grouped in 3 divisions which were called Measurement Variables: Motivation, Knowledge and Management.
The measurement of these indicators was done using questionnaires and the determination of the contribution of each
and everyone of them was obtained via multiple linear regression. Also, a software application was implemented,
allowing the processing of the questionnaires previously mentioned and enabling the visualization of the outcome of the
evaluation graphically.

Keywords: Evaluation, groups, efficiency, variables, indicators.

RESUMEN

En este artículo se propone un método para la evaluación de grupos de Investigación, Desarrollo e Innovación mediante
el uso de indicadores de eficiencia agrupados en tres segmentos a los que se denominó variables de medición:
motivación, conocimientos y gestión. La medición de tales indicadores fue realizada a través de cuestionarios y la
determinación del aporte de cada uno de ellos al resultado de la evaluación se obtuvo a través de regresión lineal
múltiple. Así mismo se implementó un aplicativo de software que permite el procesamiento automático de los
cuestionarios antes mencionados y que permita la visualización de los resultados de la evaluación de forma gráfica.

Palabras claves: Evaluación, grupos, eficiencia, variables, indicadores.

464
7. INTRODUCCIÓN

En el mundo actual está sobreentendido que la Investigación, Desarrollo e Innovación (I+D+I) son fundamentales para
el crecimiento de un país, ya sea en términos tecnológicos, económicos e incluso culturales. En tal sentido, un problema
inherente a esta actividad ha sido la falta de métodos para determinar de manera formal en qué proyecto de I+D+I
invertir [1]; así mismo, se presenta la dificultad en la elección del recurso humano con la que se enfrentan los directores
o encargados de los centros o sistemas de I+D.
Convencionalmente la elección de los proyectos a financiar está determinada principalmente por dos elementos: la
calidad del contenido científico y el impacto de los mismos [2]; sin tomar en cuenta la capacidad que posee el grupo
para cumplir con los objetivos del proyecto. La manera tradicional en la cual se basa la evaluación del recurso humano
en los grupos de I+D+I sólo se basa en su hoja de vida; lo cual deviene en la carencia de la medición de factores
importantes para tales grupos [3]; como: grado de continuidad en el trabajo, conocimientos sobre temas del proyecto,
nivel de gestión, etc.
El presente trabajo propone una alternativa de solución a los dos problemas antes mencionados a través de la medición
de la eficacia de un grupo de I+D+I mediante indicadores. En la Fig. 1 se puede apreciar las diferencias entre el enfoque
tradicional y el enfoque aplicado al trabajo para la evaluación.

Fig. 1: Ciclo de Evaluación de un Proyecto de I+D

Hasta la fecha las estudios desarrollados sobre el tema se orientan en su mayoría a la medición de resultados de los
grupos de I+D+I. Existen trabajos de investigación que estudian y proponen modelos de gestión del conocimiento en
I+D+I. Un aspecto importante en este tema es la “Economía del Conocimiento” [4], que consiste en la influencia que
tiene la distribución de las bases del conocimiento en la concepción de la economía del conocimiento y esto a su vez en
la forma de inversión en la misma. De esta manera se puede justificar la importancia e interés que se tiene por
determinar la rentabilidad; asociada a la eficacia, de un grupo de I+D+I; razón por la cual los investigadores han tenido
la necesidad de crear plataformas informáticas que les permitan tener información sobre las hojas de vida de
profesionales en diversas áreas, lo cual permite tener acceso a ciertos elementos como: perfil de profesional, experiencia
en determinados temas, entre otros; así mismo, estas plataformas permiten registrar proyectos según temática, contactos
entre investigadores, etc.
Lattes [5] es una plataforma de software que consiste en un “Sistema Electrónico de Currículos”, desarrollada y usado
por el estado brasilero, ésta permite al usuario realizar búsquedas y clasificar investigadores calificados para ciertos
requerimientos. El CvLAC [6]; usados en muchos países de Latinoamérica, opera en una plataforma parecida a Lattes,
denominada plataforma ScienTI, que intenta integrar a la región Latinoamericana. SICTI [7] es otra plataforma que
permite organizar la información que existe sobre ciencia, tecnología e innovación en Chile. También existen aplicativos
orientados a la gestión de recursos humanos en los cuales evalúan la eficiencia de los mismos [8].
Una observación importante con respecto a los grupos de I+D+I, es la carencia de una ontología que describa su
estructura e interrelaciones internas; así como la poca de utilización de conceptos data mining en el desarrollo de
465
herramientas de software que permita la evaluación de dichos grupos. Se ha realizado un trabajo de investigación que
implementa un algoritmo para obtener conocimiento relevante que permita efectuar una planificación que aumente la
eficiencia de las instituciones de ciencia y tecnología [9]. También se habla de modelos de gestión del conocimiento
para grupos de I+D+I [10], enfocándose en la creación, diseminación y reparto del conocimiento en una Institución de
Enseñanza Superior de manera que se pueda beneficiar la calidad y la productividad de tales grupos. Se han propuesto
algunos trabajos orientados a la evaluación de la investigación y desarrollo desde un punto de vista general (no
orientados específicamente a grupos de I+D+I) [11].
Para la medición de la eficacia de un grupo de I+D se ha utilizado como mecanismo la definición y cuantificación de
indicadores; éstos han sido clasificados en tres segmentos a los cuales se les denominó variables de medición, los cuales
son: motivación, conocimientos y gestión. Tales variables fueron seleccionadas pues se ha considerado que son los
elementos que más influyen en los factores de éxito de un grupo de investigación [12]. Para obtener los indicadores se
ha utilizado cuestionarios, en los cuales cada pregunta representa alguna característica del grupo de I+D+I que se está
evaluando. Se elaboró un modelo de cuestionario el cual tenía la estructura de entidades que se presenta en la tabla I.
Tabla. 1:Jerarquía de Entidades Además el valor de cada entidad se obtuvo

∑ (a × x )
n
i i
así: X= i =1

∑ a
n
i =1 i

Donde:

ai Grado de Importancia
de la Entidad

Correspondencia de Entidades

X xi
Var CI ó In
CI In
In OpIn

Inicialmente el grado de importancia (Un número entre 1 y 10) que se utilizó fue asignado en función a documentación
[13] [14] [15] [16] [17], observación y experiencia; sin embargo, luego de haber aplicado los cuestionarios, se empleó
regresión lineal múltiple [18] para determinar el valor de los grados de importancia de los indicadores (In).
Y = β 0 + β1 X 1 + ... + β n X n . Donde Y es Var ó CI, β i es el grado de importancia buscado e X i , es In. Para poder
aplicar el modelo de regresión lineal múltiple se ha asumido:
• Linealidad en la dependencia de las variables (Var) respecto a los indicadores (In).
• Que la diferencia entre los valores calculados y reales es muy pequeña y que ésta sigue una distribución
normal.
• Se han utilizado más de 20 observaciones por cada indicador.
• La no colinealidad de los indicadores, se ha buscado que éstos no se encuentren estrechamente relacionados.
Los cuestionarios fueron aplicados a una muestra de 6 grupos de 4 personas en promedio cada uno, tales grupos
pertenecían a un curso de verano de 2 meses de duración en el cual cada grupo estaba encargado del desarrollo de un
proyecto que tenía elementos de I+D+I. Así mismo; se desarrolló un aplicativo de software mediante el cual se agiliza la
tarea de procesamiento de los cuestionarios; ya que hacerlo mediante hojas de cálculo resultaba demasiado engorroso y
lento. Tal aplicativo permite:
• La edición de cuestionarios.
• La asignación del grado de importancia a las entidades; ya sea de forma manual (Pues es posible que la
evaluación este sujeta a ciertas políticas) o mediante regresión lineal múltiple.
• El almacenamiento del cuestionario en un archivo XML.
• El procesamiento del cuestionario; es decir, introducir las respuestas y calcular el resultado final.
• Mostrar la información del resultado gráficamente.
Finalmente se modelo el conocimiento asociado a un grupo de I+D+I mediante una ontología, lo cual permitirá integrar
datos de diversos grupos de otras instituciones siempre que se cumpla con la ontología.
466
8. VARIABLES

A continuación se describirá en detalle el proceso de selección de indicadores asociados a cada variable. El detalle de
cada variable que se presenta se refiere al cuarto cuestionario que se elaboró; versión con la que se realizó esta prueba.

Motivación
Se ha tomado a la motivación como el “motor” que impulsa la actividad de I+D+I. En tal sentido ésta ha sido divida en 4
tópicos (CI) que son: aproximación afectiva, energía, carácter cognitivo y motivación de logro; que suman en conjunto
30 indicadores (In).

Aproximación Afectiva
Los indicadores de este conjunto están en relación a dos elementos: Determinar cual es el móvil de motivación, teniendo
en cuenta el nivel de relación personal de cada integrante respecto al tema del proyecto y el nivel de compañerismo
dentro del grupo ya que de esta manera se puede obtener una idea clara del grado de cercanía de los integrantes con el
proyecto y del grado de cercanía de los integrantes entre sí. El segundo elemento es el grado de interés en el proyecto
por parte de cada integrante, de manera que se tenga una aproximación de qué tan “entregados” están al trabajo [19].

Energía
Se refiere al nivel de puntualidad, dedicación, y esfuerzo físico y mental con el que cuenta un integrante del grupo de
I+D+I con respecto a un proyecto. La medición de estos elementos está ligada a la continuidad que se presenta en el
desarrollo del trabajo. Aquí es donde se evalúa las rutinas de trabajo: “estudios realizados en atletas olímpicos, músicos
de nivel mundial, y grandes maestros del ajedrez demuestran que el rasgo que los une es la capacidad de motivarse ellos
mismos para llevar a cabo una rutina de entrenamiento implacable” [20] [21]. Además, factores tales como las
actividades que realiza el integrante aparte de la I+D+I son tomados en consideración, pues éstos producen un desgaste
en la energía del individuo.

Carácter Cognitivo
Este punto se refiere a la percepción que tiene el individuo de sus habilidades y aptitudes; ya sea a nivel profesional o
personal. Además se toma en cuenta cómo lo califican las personas de su entorno (compañeros, superiores, etc.) [22].
Esto es importante, ya que muchas veces determina el desempeño que pueda tener una persona.

Motivación de Logro
Esta parte está enfocada a los deseos del individuo de llegar a cumplir con los objetivos del proyectos, se ha considerado
elementos como: trabajo bajo presión, incentivos hacia los participantes del grupo de I+D+I, y la actitud que tiene
respecto hacia el trabajo que tiene asignado [23]. Es importante resaltar que éste punto ha sido objeto de mucho énfasis
en estudios de motivación organizacional [24]. Así mismo, la motivación de logro ha sido ampliamente usada en
motivación en deportistas jóvenes [25].

Conocimientos
Aquí no se ha buscado referentes bibliográficos, se ha seguido un esquema de registro de hojas de vidas, mas se ha
incluido elementos de creatividad y participación en eventos como ponente. Se compone de los siguientes conjuntos de
indicadores: grado académico, elaboración de tesis, producción intelectual, eventos y miscelánea.

Grado Académico
Se refiere a los títulos académicos conseguidos: Tiene 4 niveles: pre–grado, maestría, doctorado e idiomas.

467
Elaboración de Tesis
Se refiere a la elaboración de tesis para la obtención de grados académicos y títulos profesionales, está conformado de 3
categorías: pre–grado, maestría y doctorado. Tanto en este tópico como en el anterior se da énfasis al tiempo en el cual
se han concluido el trabajo.

Producción Intelectual
Está enfocado a las publicaciones que haya realizado el integrante del grupo de I+D+I, ya sea artículos cortos o largos,
libros, artículos en revistas, patentes (en este punto se evalúa la creatividad, pues el hecho de tener patentes implica un
nivel de creatividad). Se da mayor puntuación a aquellas publicaciones realizadas en medios arbitrados y en otros
idiomas.

Eventos
Se centra en el número de ponencias en congresos o simposios que tiene el individuo; así como el conocimiento del
mismo en la organización de eventos.

Miscelánea
Evalúa si la persona ha sido merecedora de premios o becas, con ello se pretende evaluar la calidad de su trabajo y su
desempeño académico.

Organización
"Organizar es agrupar y ordenar las actividades necesarias para alcanzar los fines establecidos creando unidades
administrativas, asignando en su caso funciones, autoridad, responsabilidad y jerarquía, estableciendo las relaciones que
entre dichas unidades debe existir." (Eugenio Sixto Velasco).
Se busca reflejar el grado de organización de los grupos, conocer qué forma están organizados, si existe o no una
jerarquía definida en el grupo, los mecanismos de comunicación, la imagen del grupo hacia el exterior, etc. El grado de
organización juega un papel muy importante en la evolución de un grupo de I+D+I, pues determina los mecanismos por
los cuales las personas coordinan esfuerzos cuando tienen un objetivo común, es decir si podrían trabajar de una forma
unida o dispersa, creando lazos o vínculos de trabajo de una manera jerárquica y definida [26]. En tal sentido, mediante
estos indicadores se puede determinar si el grupo asume un conjunto de reglas o se rige por orientaciones informales e
incluso improvisadas o pasajeras.

Planificación
Planificar significa estudiar sus objetivos y acciones y sustentar dichas acciones no en corazonadas sino con algún
método, plan o lógica; de la misma forma los grupos de I+D+I definen procedimientos adecuados con el propósito
fundamental de facilitar el logro de los objetivos. Se intenta medir el grado de planificación de un grupo de I+D,
determinando si dicho grupo cuenta con un plan estratégico, un plan de riesgos o si aplica una metodología de
investigación en particular.

Control
El control es un proceso por medio del cual se modifica algún aspecto de un sistema para que se alcance el desempeño
deseado en el mismo. La finalidad es medir si el proceso de control de un grupo de I+D+I esta orientado a sus objetivos
o si dicho grupo cuenta con mecanismos que evalúen sus avances periódicamente registrando formalmente todos sus
procedimientos y experiencias en el tema del proyecto.

Logros
Se definieron 2 indicadores que reflejan si al término del proyecto los integrantes del grupo de I+D+I llegaron a tener el
objetivo claro y si el número de logros alcanzados es el esperado.

468
9. APLICATIVO DE SOFTWARE

Para el procesamiento de los cuestionarios se desarrolló un aplicativo de software para plataformas Windows. Éste fue
elaborado con el lenguaje de programación C# y se utilizó como IDE a Visual Studio .Net 2003 y Rational Rose
Enterprise Edition como herramienta para el modelamiento de los artefactos de software. Para la validación y
verificación del aplicativo se utilizó la técnica de “caja negra” (valores de frontera). El aplicativo consta de 2 partes: i)
editor de cuestionarios y ii) registro y evaluador de grupos de I+D+I.
Editor de Cuestionarios
En la figura 2 se puede visualizar la edición de cuestionarios bajo el esquema de entidades antes descrito (ver Tabla I),
además permite almacenar el cuestionario en un archivo XML (se puede almacenar el cuestionario en cualquier estado
de elaboración) para lo cual se implementó un reconocedor de XML asociado a la jerarquía de entidades tal como se
puede apreciar en la figura 3.

Fig. 2: Editor de Cuestionarios Fig. 3: Diagrama de estados del Reconocedor XML

Evaluador de grupos de I+D

Permite el registro de un grupo de I+D+I y la carga de un cuestionario. Además permite el procesamiento de resultados
(ya sea de manera individual o grupal) y los muestra gráficamente tal como se puede apreciar en la figura 4. Así mismo,
se indica el puntaje obtenido por un integrante del grupo en función a los indicadores (Ver Fig. 5).

Fig. 4: Gráfico de Información de Variables mostrado Fig. 5: Gráfico de Información de Indicadores mostrado
por el aplicativo por el aplicativo

469
10. RESULTADOS

Para evaluar el método propuesto se ha contrastado los resultados del mismo con el calificativo obtenido por los grupos
en el curso de verano (calificativo asignado por los alumnos del curso y por un jurado externo), obteniéndose los
resultados que se presentan en la tabla II:
Tabla II: Resultados Evaluación de grupos de I+D
Grupos
Variable Factor
Grupo 1 Grupo 2 Grupo 3 Grupo 4 Grupo 5 Grupo 6
Motivación 37 43 35 31 49 38 0.6
Conocimientos 6 7 6 5 6 7 0.7
Gestión 18 21 29 23 24 20 0.8
Total = 19.49 22.41 22.89 19.25 25.20 20.96 2.1

Puesto 5 3 2 6 1 4
Resultados
Calificativo del Curso 3 4 2 6 1 5
(Puesto)

Diferencia en orden
de mérito (En valor
absoluto)
2 1 0 0 0 1

Se logró inferir con el método el orden de mérito de los 2 primeros puestos y una aproximación alta de los puestos de los
demás participantes. Sin embargo, debido a la cantidad pequeña de la muestra (6 grupos) no se puede dar un grado de
confianza alto.

11. CONCLUSIONES Y TRABAJOS FUTUROS

Se ha presentado un método para evaluar grupos de I+D+I con resultados iniciales alentadores, además se ha
implementado una aplicativo de software que permite utilizar tal método con facilidad. Hay que tener en cuenta que
aunque el método es muy cuantitativo no se exime de una evaluación cuantitativa que pudiera modificar los resultados
obtenidos.
Es necesario realizar pruebas con una mayor cantidad de grupos e integrantes a fin de validar con más datos la
metodología propuesta.
Con la información almacenada de los grupo de I+D+I se pueden desarrollar una serie de herramientas que servirían de
mucha ayuda a la gestión del conocimiento en la investigación, entre estas podemos mencionar a la generación de
indicadores sobre producción bibliográfica, producción técnica, proyectos de investigación, tesis desarrolladas, entre
otros. Además aplicando técnicas de minería de datos, se podría obtener conocimiento relevante desconocido por el
momento por las direcciones.

12. AGRADECIMIENTOS

Queremos agradecer al profesor Bruno Castillón por su guía y paciencia y al profesor Abraham Dávila por la
información que nos brindó, ambos pertenecientes al Departamento de Ingeniería de la Pontificia Universidad Católica
del Perú.

REFERENCIAS
54. J. L. Solleiro, “Evaluación de proyectos de investigación y desarrollo ¿Alguna solución a este viejo problema?”,
Revista Espacios – Venezuela, vol 15, 1994.
55. L. Sanz, “Evaluación de la Investigación y Sistema de Ciencia”, Consejo Superior de Investigaciones Científicas de
Madrid – Unidad de Políticas Comparadas, Julio 2004, pp 2-4.
56. C.B. Castillón, ¿Es posible que el Perú vuelva a ser potencia?, en proceso de publicación, 2006, pp 22-23.
57. K. Smith, “What is the ‘Knowledge Economy’? Knowledge Intensity and Distributed Knowledge Bases”, The
United Nations University – INTECH, Junio 2002.
470
58. Sistema de Evaluación de Currículos LATESS. http://lattes.cnpq.br/
59. CvLAC – Parte de la plataforma informática de la Red Internacional de Sistemas de Información en Ciencia y
Tecnología (Red ScienTI) http://www.concytec.gob.pe/scienti/
60. Plataforma SICTI http://portal.sicti.cl/www/
61. J. Ramón Pin, M. Laorden, “Software de Gestión de Recursos Humanos, Indicadores de Eficiencia”, Documento de
Investigación 433, División de Investigación IESE – Universidad de Navarra. Marzo 2001.
62. W. Romão, “Descoberta de conhecimento relevante em banco de dados sobre ciência e tecnología”, Universidad
Federal de Santa Catarina, 2002.
63. O. G. Freitas Júnior, “Um modelo de sistema de gestão do conhecimento para grupos de pesquisa e
desenvolvimento”, Universidad Federal de Santa Catarina, 2003.
64. G. Boggie, Evaluation of Research and Development, 1984. ISBN 9027717591.
65. J. Royero, “Modelo de Control de Gestión para Sistemas de Investigación Universitarios”, OEI-Revista
Iberoamericana de Educación (ISSN: 1681-5653).
66. W. S. Humphrey, Introduction to The Team Software Process, Addison–Wesley, 2000.
67. M. Hartzler, Teoría y Aplicaciones del Trabajo en Equipo: Cómo preparar equipos de trabajo eficaces, Oxford
University Press, 1999.
68. W. G. Dyer, Formación de Equipos: Problemas y alternativas, Addison–Wesley, 1988.
69. N. Sapag Chain, Preparación y Evaluación de Proyectos, McGraw–Hill Interamericana, 2003.
70. R. Mittman, El Impacto de la Tecnología en los Equipos de Trabajo: Cómo pueden los equipos utilizar la tecnología
y las herramientas de proceso grupal para perfeccionar el desempeño, Addison–Wesley Iberoamericana, 1993.
71. F. J. Barón López, F. Téllez Montiel, Apuntes de Bioestadística, ch 6.
http://campusvirtual.uma.es/est_fisio/apuntes/ficheros/cap06.pdf
72. M.P. González, E. Barrull, C. Pons y P. Marteles, “¿Qué es el afecto?”, Biopsychology.org, 1998.
http://www.biopsychology.org/biopsicologia/articulos/que_es_el_afecto.html.
73. D. Goleman, Emotional Intelligence: Why It Can Matter More Than IQ, Bantam Books, ch 6, Julio 1997.
74. A. Ericsson, Expert Performance: Its Structure and Acquisition, American Psychologist, Agosto 1994.
75. R. A. Carvallo Castillo, “Desarrollo de rasgos asociados a la autoestima a través de la meta cognición, en una
universidad mexicana”, Revista Electrónica de Investigación y Evaluación Educativa, vol 7, ISSN 1134-4032, 2001.
76. C. L. Rodríguez Sánchez, “Motivación de Logro y Satisfacción Laboral”, Facultad de Psicología – Universidad
Nacional Autónoma de México.
77. S. Robbins, Comportamiento Organizacional, Prentince Hall, 1996.
78. T. García Calvo, “La Motivación y su importancia en el entrenamiento de jóvenes deportistas”
http://cdeporte.rediris.es/biblioteca/motivacion.pdf
79. A. Clausse, “Organización de equipos de trabajo de investigación y desarrollo”, ISISTAN – Facultad de Ciencias
Exactas – Universidad Nacional del Centro, 7000 Tandil, Argentina.
http://www.exa.unicen.edu.ar/catedras/manageit/docs/Equipos.pdf
80. M. Horridge, H. Knublauch, A. Rector, R. Stevens, C. Wroe, A Practical Guide to Building OWL Ontologies Using
The Protégé–OWL Plugin and CO-ODE Tools, Stanford University, Agosto 2004.

471