FILHA U.A.Z. - Logotipo
revista_filha@yahoo.com

Revista Digital de la Unidad Académica de Docencia Superior,
Universidad Autónoma de Zacatecas, ISSN: 2594-0449.

< Regresar

Publicaciones

Evaluación de objetivos educacionales en educación superior: una experiencia para visualizar los logros con Power BI por Blanca Carballo Mendívil, Alejandro Arellano González y María del Pilar Lizardi Duarte

Enero-julio 2025, número 32.
Autor: Gonzalo Lizardo. El payaso y el rio (1989, acrílico sobre tela, 80x100 cm).

Carballo Mendívil, Blanca; Arellano González, Alejandro y Lizardi Duarte, María del Pilar. (2025). Evaluación de objetivos educacionales en educación superior: una experiencia para visualizar los logros con Power BI. Revista digital FILHA. Enero-julio. Número 32. Publicación semestral. Zacatecas, México: Universidad Autónoma de Zacatecas. Disponible en: http://www.filha.com.mx. ISSN: 2594-0449.

Blanca Carballo Mendívil. Mexicana. Profesora Investigadora del Instituto Tecnológico de Sonora, adscrita al departamento de Ingeniería Industrial. Miembro del Sistema Nacional de Investigadores, Nivel I. ORCID: https://orcid.org/0000-0003-0966-7146. Contacto: bcarballom@gmail.com

Alejandro Arellano González. Mexicano. Profesor Investigador del Instituto Tecnológico de Sonora, adscrito al departamento de Ingeniería Industrial. Perfil PRODEP desde 1990. Líder del Cuerpo Académico Consolidado de Cadenas Productivas. ORCID: https://orcid.org/0000-0002-6594-8391. Contacto: aarellanog@gmail.com

María del Pilar Lizardi Duarte. Mexicana. Profesora Investigadora del Instituto Tecnológico de Sonora, adscrita al departamento de Ingeniería Industrial. Actualmente es responsable del programa educativo de Ingeniería Industrial y de Sistemas. Cuenta con perfil PRODEP y es miembro del Cuerpo Académico Consolidado de Cadenas Productivas. ORCID: https://orcid.org/0009-0008-4474-8439 Contacto: mplizardi18070@potros.itson.edu.mx

EVALUACIÓN DE OBJETIVOS EDUCACIONALES EN EDUCACIÓN SUPERIOR: UNA EXPERIENCIA PARA VISUALIZAR LOS LOGROS CON POWER BI 

Evaluation of educational objectives in higher education: an experience to visualize achievements with Power BI

 

Resumen: La evaluación de Objetivos Educacionales (OE) no solo mide el éxito de los programas educativos, sino que también es una herramienta vital para la mejora continua, la rendición de cuentas y la relevancia educativa. En el contexto educativo actual, su importancia es indiscutible, ya que permite a las instituciones adaptarse a los cambios, preparar a los estudiantes para los desafíos futuros y garantizar la calidad y pertinencia de la educación ofrecida. Sin embargo, la literatura científica muestra una escasez de casos de estudio documentados que orienten este proceso. En este artículo, no solo se presenta el resultado de esta revisión de literatura, sino que se reporta una experiencia de evaluación de OE en una universidad autónoma de México, utilizando un formulario de Google para la recopilación de datos y una herramienta de inteligencia de negocios diseñada en Power BI, que transforma automáticamente los datos recopilados en información significativa y útil mediante visualizaciones interactivas y paneles de control distribuidos vía web. Los resultados de la evaluación reflejan lo siguiente: a) OE1: un 94% de los egresados tiene experiencia laboral propia de su programa educativo, con una representación significativa en roles de liderazgo en sectores económicos variados; b) OE2: el 47% ha cursado posgrados y un 84% se ha actualizado mediante educación continua, superando la media nacional de egresados con posgrado; c) OE3: 16 % ha iniciado su propia empresa, cifra considerada que refleja un alto interés en el emprendimiento; y d) OE4: 67% tiene experiencia en liderazgo de Equipos de Alto Rendimiento (EAR), 54% en equipos con extranjeros, y 22% desarrollado experiencias laborales en el extranjero. Se espera que este trabajo contribuya a mejorar la calidad y la relevancia de la educación superior, preparando a los estudiantes de manera más efectiva para los desafíos del siglo XXI. Además, esta experiencia contribuye al avance del conocimiento en el campo de la evaluación educativa, sirviendo como punto de partida para investigaciones futuras sobre este tema.

Palabras clave: Evaluación educativa, Objetivos Educacionales, visualización de datos.

Abstract: The evaluation of Educational Objectives (EOs) not only measures the success of educational programs but also serves as a vital tool for continuous improvement, accountability, and educational relevance. In today's educational context, its importance is undeniable, as it allows institutions to adapt to changes, prepare students for future challenges, and ensure the quality and relevance of the education offered. However, the scientific literature shows a scarcity of documented case studies that guide this process. This article not only presents the results of this literature review but also reports an EO evaluation experience at an autonomous university in Mexico, using a Google form for data collection and a business intelligence tool designed in Power BI, which automatically transforms the collected data into meaningful and useful information through interactive visualizations and web-distributed dashboards. The evaluation results reflect the following: a) EO1: 94% of graduates have work experience, with significant representation in leadership roles across various economic sectors; b) EO2: 47% have pursued postgraduate studies and 84% have engaged in continuing education, exceeding the national average of graduates with postgraduate degrees; c) EO3: 16% have started their own businesses, indicating a high interest in entrepreneurship; and d) EO4: 67% have experience leading High-Performance Teams (HPT), 54% in teams with foreigners, and 22% have developed work experiences abroad. This work is expected to contribute to improving the quality and relevance of higher education, preparing students more effectively for the challenges of the 21st century. Additionally, this experience contributes to the advancement of knowledge in the field of educational evaluation, serving as a starting point for future research on this topic.

Keywords: Educational Evaluation; Educational Objectives; Data Visualization.

 

Introducción

La evaluación en el proceso educativo desempeña un papel fundamental al proporcionar retroalimentación valiosa para la toma de decisiones. Es un proceso continuo y sistemático que permite medir el progreso de los objetivos y metas, identificar áreas de fortaleza y debilidad, ofrecer retroalimentación constructiva y proporcionar información clave para la implementación de intervenciones efectivas en la práctica educativa, contribuyendo así al mejoramiento continuo de la calidad de la enseñanza y el aprendizaje (Canabal y Margalef, 2017; Espinoza Freire, 2021; Cruzado Saldaña, 2022; Núñez-Valdés et al., 2024).

Específicamente, la evaluación de Objetivos Educacionales (OE) es un componente clave de la evaluación educativa cuyo objetivo principal es determinar en qué medida los graduados de un programa educativo han alcanzado los objetivos de aprendizaje y las competencias profesionales establecidas durante su formación académica, centrándose en los resultados a largo plazo de la educación universitaria.

El estudio de OE se fundamenta en teorías del aprendizaje, la evaluación educativa y la psicometría. Estas teorías proporcionan marcos conceptuales y metodologías para comprender cómo los estudiantes adquieren conocimientos, habilidades y actitudes, así como para medir el logro de los OE de manera válida y confiable (Hernández Madrigal, 2009). Además, la evaluación formativa y la retroalimentación constructiva son fundamentales para guiar el proceso de mejora continua en la educación universitaria (Fernández, 2017).

El estudio de objetivos educacionales se fundamenta en teorías del aprendizaje, la evaluación educativa y la psicometría. Estas teorías proporcionan marcos conceptuales y metodologías para comprender cómo los estudiantes adquieren conocimientos, habilidades y actitudes, así como para medir el logro de los OE de manera válida y confiable (Hernández Madrigal, 2009). Además, la evaluación formativa y la retroalimentación constructiva son fundamentales para guiar el proceso de mejora continua en la educación universitaria (Fernández, 2017).

Esta evaluación es una práctica que se realiza en muchas partes del mundo, pero su implementación puede variar según los sistemas educativos, las políticas gubernamentales y las prácticas institucionales de cada país. Si bien no existe un estándar único a nivel internacional para la evaluación de egresados universitarios, hay una creciente tendencia hacia la evaluación de resultados y el aseguramiento de la calidad en la educación superior a nivel global (Backhoff Escudero, 2018).

En muchos países, las agencias gubernamentales, organismos de acreditación y las instituciones educativas realizan evaluaciones de egresados como parte de sus procesos de control de calidad y mejora continua. Por ejemplo, en México, el Consejo para la Acreditación de la Educación Superior (COPAES) es la entidad facultada por la Secretaría de Educación Pública (SEP) para conferir reconocimiento formal a los organismos que acreditan programas académicos de educación superior ofrecidos por instituciones públicas y privadas. Entre estos organismos se encuentra el Consejo de Acreditación de la Enseñanza de la Ingeniería (CACEI), una asociación civil sin fines de lucro que promueve que las instituciones de educación superior (IES) ofrezcan educación de calidad en programas de ingeniería.

Otros ejemplos de organismos acreditadores incluyen el Accreditation Board for Engineering and Technology (ABET, s.f.) en Estados Unidos, que acredita programas educativos en 42 países en disciplinas como ciencias naturales, informática, ingeniería y tecnología. En Europa, la European Network for Accreditation of Engineering Education (ENAEE, s.f.) autoriza a agencias de acreditación a conceder la etiqueta EUR-ACE para promover la calidad en programas educativos de ingeniería. Además, existen organizaciones internacionales como la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) y la Organización para la Cooperación y el Desarrollo Económicos (OECD), que trabajan en el ámbito de la educación y proporcionan estándares y directrices relacionadas con la evaluación de objetivos educacionales. Estas organizaciones contribuyen a establecer un marco global para la mejora continua y la excelencia educativa, lo cual es fundamental para instituciones que buscan implementar metodologías innovadoras y herramientas avanzadas, como Power BI, para la gestión y visualización de datos educativos.

Pese a la variedad de organismos, en todos ellos los OE son competencias que un egresado demuestra tras trabajar unos cuatro o cinco años, para cumplir el objetivo del programa educativo de la universidad de la que egresó (Rojas Villegas, 2019; García Cortés, et al., 2023). Su evaluación se considera un gran desafío porque requiere la operación de un proceso sistemático para la revisión periódica del logro de los OE y su pertinencia, con la participación de grupos colegiados y representantes de los grupos de interés, cuyos resultados deben ser difundidos (CACEI, 2018).

La literatura revela que la evaluación de OE puede involucrar diversas metodologías, tales como encuestas a egresados, entrevistas con empleadores, análisis de trayectorias profesionales, seguimiento de indicadores de desempeño laboral y otras medidas de resultados a largo plazo. Sin embargo, existe una falta de consenso sobre cuáles son los métodos más efectivos (Salas Mendoza & Acuña Leiva, 2023; Treviño Cubero, García Ancira, & Martínez Moreno, 2023; Abbadeni, Ghoneim, & Alghamdi, 2013; Universidad Veracruzana, 2024; Universidad de Sonora, 2022; Urrutia Espinoza, 2021; Castellares Fergusson & Vílchez Ganoza, 2020). Investigaciones previas, como la de Ramírez Lazos et al. (2020) y Maza Luna et al. (2019), han abordado esta cuestión, pero aún existen lagunas en la comprensión de los métodos de evaluación empleados y en la forma de establecer y monitorear metas relacionadas con los objetivos educacionales evaluados por las universidades, ya que generalmente no se detallan. Además, se observan deficiencias en los métodos de difusión. Aunque algunos estudios presentan sus reportes de resultados, estos a menudo se limitan a compartir gráficos de pastel o de barras generados automáticamente por herramientas como Google Forms. Esto es problemático, ya que existen herramientas más adecuadas para la visualización de datos que podrían proporcionar insights más profundos y relevantes.

Aunque la evaluación de OE para egresados de nivel superior no es un proceso estandarizado internacionalmente, se ha convertido en una práctica cada vez más común en muchas partes del mundo para garantizar la calidad y relevancia de la educación universitaria. En el caso específico de esta investigación, el Instituto Tecnológico de Sonora (ITSON), una universidad autónoma del norte de México ha establecido OE para todos sus programas educativos de ingeniería. Sin embargo, aún no se ha implementado un proceso institucional de evaluación sistemática que permita obtener información valiosa para valorar la efectividad de estos programas en la preparación de los estudiantes para su inserción en el mercado laboral y en el desarrollo de su carrera profesional a largo plazo.

Por eso, el objetivo principal de este trabajo es presentar un caso de estudio que oriente en la evaluación de OE y proponga difundir los resultados a la comunidad mediante paneles de control interactivos. Además, se presenta el resultado de una investigación exhaustiva que examina las prácticas de evaluación de OE en diversas universidades del mundo. Esta revisión de literatura, basada en un proceso de investigación documental de alcance descriptivo, implicó el rastreo, selección, sistematización y análisis de estudios sobre la evaluación de OE en contextos universitarios. Este enfoque tiene un valor significativo para las instituciones educativas, ya que proporciona información valiosa sobre las prácticas actuales de evaluación de OE a nivel universitario, permitiendo a las IES evaluar y mejorar sus propios métodos de evaluación.

 

Fundamentos teóricos

La evaluación de Objetivos Educacionales (OE) se apoya en una variedad de fundamentos teóricos, incluidas la evaluación educativa, evaluación formativa, psicometría y las teorías del aprendizaje. Estas perspectivas teóricas proporcionan los marcos conceptuales y los enfoques metodológicos necesarios para diseñar, implementar y utilizar la evaluación de manera efectiva en el proceso educativo. La evaluación educativa se centra en la mejora continua de la enseñanza y el aprendizaje, ayudando a identificar fortalezas y áreas de mejora en los programas y métodos de enseñanza (Sandoval Rubilar, et al., 2022). Al evaluar OE, se utilizan técnicas como la retroalimentación formativa, encuestas a egresados y revisión curricular para ajustar y optimizar el proceso educativo. La evaluación formativa se realiza durante el proceso de aprendizaje para proporcionar información que guíe la instrucción y el desarrollo de los estudiantes (Cruzado Saldaña, 2022). En el contexto de OE, la evaluación formativa permite generar información y tomar decisiones orientadas a ajustar estrategias pedagógicas y asegurar que los estudiantes estén en camino de alcanzar los objetivos establecidos.

La psicometría se ocupa de medir y evaluar características psicológicas, como habilidades cognitivas, actitudes y personalidad. Por ejemplo, los exámenes estandarizados y las escalas de calificación son aplicaciones de la psicometría en la evaluación educativa (Gutiérrez Benítez y Acuña Gamboa, 2022). Así pues, en la evaluación de OE, la psicometría proporciona herramientas para medir el rendimiento de los estudiantes de manera válida y confiable. Las teorías del aprendizaje proporcionan el marco conceptual para comprender cómo los estudiantes adquieren conocimientos y habilidades. Por ejemplo, la teoría del constructivismo sugiere que el aprendizaje es un proceso activo en el que los estudiantes construyen significado a partir de sus experiencias y conocimientos previos (Moreno Martín, et al., 2017). La evaluación de OE debe reflejar este enfoque, considerando cómo los procesos de aprendizaje influyen en el logro de esos objetivos. Estos fundamentos teóricos se entrelazan para respaldar la evaluación de objetivos educacionales, asegurando que sea significativa, precisa y beneficiosa para la toma de decisiones hacia la mejora del proceso educativo.

 

Universidades/programas que publican el tema de evaluación de sus OE

En búsqueda de casos de estudio se identificaron 38 programas educativos en varias universidades de México, así como cuatro programas de otros países como Perú, Cuba y Arabia Saudita, que abordan la evaluación de objetivos educacionales (OE). Se incluyeron no solo programas de ingeniería acreditados por CACEI, sino también programas de Derecho, Finanzas y Negocios, Medio Ambiente, Diseño, entre otros, acreditados por organismos nacionales e internacionales como ABET. En el resto de las universidades revisadas, los OE no se han evaluado aún porque no han transcurrido los cuatro años mínimos desde la graduación requeridos para evaluar a los egresados. En particular, se analizaron los OE de los programas educativos de ingeniería industrial detallados en la Tabla 1, los cuales tienen sus objetivos educacionales públicamente disponibles. En otras universidades, los programas educativos acreditados por CACEI no proporcionan información pública sobre sus objetivos educacionales.

 

Tabla 1. Tipo de objetivos educacionales planteados para el programa de Ingeniería Industrial en diversas universidades de México

 

Universidad

No. de OE planteados

Relacionados con competencias:

Técnicas

Blandas

ITESO, Universidad Jesuita de Guadalajara

5

2

3

UNAM (Universidad Nacional Autónoma de México)

5

4

1

Universidad Panamericana

5

3

2

Instituto Tecnológico Superior de Puerto Peñasco

4

3

1

Instituto Tecnológico Superior del Occidente del Estado de Hidalgo

3

2

1

Universidad Michoacana de San Nicolás de Hidalgo

3

3

0

Universidad de Sonora, campus Hermosillo

3

2

1

 

Proporción

68%

32%

Fuente: Elaboración propia con información proporcionada en los sitios web oficiales de las universidades.

 

Se observó que los programas educativos de Ingeniería Industrial revisados se parecen a sus objetivos educacionales: han establecido entre tres y cinco OE; esperan que los egresados puedan utilizar las herramientas metodológicas adquiridas en sus estudios contribuyendo a la mejora continua, planeación, diseño, optimización e integración de sistemas relacionados con la ingeniería industrial; que avancen en su carrera profesional, participen en grupos multidisciplinarios desempeñándose como líderes o miembros activos que aporten nuevas mejoras, ideas innovadoras, etc. Pero, en su mayoría (68 %), los OE planteados están relacionados con competencias técnicas.

 

Métodos utilizados y herramientas tecnológicas aplicadas para la evaluación de OE

Durante la revisión de casos encontrados, se observó que, para evaluar los objetivos educacionales, las universidades utilizan similares métodos de evaluación y procesamiento (ver Tabla 2). La mayoría de los estudios revisados indican que las universidades utilizaron exclusivamente formularios de Google y la herramienta Excel para tabular y representar la información recopilada en diversos tipos de gráficas, como barras, circulares, puntos y Pareto, algunas de las cuales comparan los porcentajes obtenidos con los porcentajes esperados de desempeño para cada pregunta.

 

Tabla 2. Casos de estudio

 

Universidad / país

Programa educativo

Método de evaluación

Métodos de procesamiento

Universidad Nacional Mayor de San Marcos, Perú

Farmacia y Bioquímica

Encuestas a empleadores y egresados, vía Google Forms

Se utilizó Microsoft Excel para el procesamiento y generación de gráficas que resumen los hallazgos

Universidad Autónoma de Nuevo León, México

Ingeniero en Mecatrónica

Encuestas a egresados

No se especifica la herramienta utilizada, pero muestra resultados en gráficas de barras aparentemente creadas en Excel

King Saud University, Arabia Saudita

Ingeniería de Software

Encuestas a grupos de interés, exalumnos y a empleadores, reuniones con el consejo consultivo y con exalumnos en el sitio de su empleador

No se menciona una herramienta, pero los resultados se presentan como % de cumplimiento de los objetivos analizados

 

Universidad Veracruzana, México

Ingeniería Civil

Encuestas aplicadas a egresados vía Google Forms

No se especifica la herramienta utilizada, pero muestra resultados en gráficas circulares aparentemente generadas automáticamente por Google Forms

Universidad de Sonora, México

Ingeniería Industrial y de Sistemas,

Ingeniería en Mecatrónica

Encuestas aplicadas a egresados vía Google Forms

No se especifica la herramienta utilizada, pero muestra resultados en gráficas circulares aparentemente generadas automáticamente por Google Forms

Universidad Católica de Santa María, Yanahuara, Perú

Ingeniería Electrónica

Observación documental y encuestas aplicadas a egresados utilizando una plataforma web especializada

No se menciona herramienta, pero se presentan resultados en tablas y gráficos de estadística descriptiva e inferencial estáticos, aparentemente calculados en SPSS

Universidad Privada de Trujillo, Perú

Derecho

Encuestas aplicadas a egresados

Se utilizó Excel para procesar los datos en tablas y figuras

Fuente: elaboración propia con información de (Salas Mendoza & Acuña Leiva, 2023; Treviño Cubero, García Ancira, & Martínez Moreno, 2023; Abbadeni, Ghoneim, & Alghamdi, 2013; Universidad Veracruzana, 2024; Univeridad de Sonora, 2022; Urrutia Espinoza, 2021; Castellares Fergusson & Vílchez Ganoza, 2020).

 

Durante la revisión de estos estudios de casos y visitas a portales de universidades, no se observó el uso generalizado de software especializado para la presentación del resultado de la evaluación de objetivos educativos ni para el almacenamiento de la información generada. Aunque algunas páginas web universitarias limitaban la obtención de información al controlar el acceso al portal de egresados, no se puede asumir que no cuenten con software especializado como Power BI, ya que no mencionan el uso de este tipo tecnologías en sus páginas principales o secciones de noticias.

 

Instrumentos de evaluación

En general, la evaluación de OE en los casos estudiados se realiza en cuestionarios dirigidos a egresados después de 4 o 5 años, diseñados para obtener información relevante basada en los objetivos educacionales del programa educativo y evaluarlos con el fin de mejorar continuamente el programa. Cada conjunto de preguntas está diseñado para alcanzar objetivos educativos específicos; en algunos casos se observó que más de cinco preguntas pueden enfocarse en un solo objetivo educativo, proporcionando información detallada sobre la evaluación que hacen los egresados con respecto a dicho objetivo.

 

Tabla 3. Dimensiones evaluadas en los instrumentos

 

Universidad / país

Programa educativo

No. de ítems

Aspectos evaluados

Sociodemográficos

Dimensiones específicas

Universidad Nacional Mayor de San Marcos, Perú

 

 

Farmacia y Bioquímica

46 

Edad, situación laboral después de PPP y actual (en caso de cambio de trabajo), aspectos de pregrado (duración de estudio y prácticas)

 Actividades de PPP, competencias del perfil de egresado, capacitación al término de estudios, competencias de perfil de egreso (genéricas y específicas), nuevas oportunidades laborales, experiencia y sugerencias

Universidad Autónoma de Nuevo León

 

Ingeniero en Mecatrónica 

n/d 

Situación laboral (empleo fijo/ temporal/desempleado), nivel de contratación (en meses)

Desempeño de egresados en base a los OE (% de egresados que diseñan los procesos y % de quienes integran) 

Universidad Veracruzana, Poza Rica-Tuxpan

Ingeniería Civil 

 7

Cohorte generacional

Competencias (planificador, proceso de diseño, actualización), rol desempeñado en su empleo, sector

Universidad de Sonora (campus Hermosillo)

 

Ingeniería Industrial y de Sistemas

24

Información

general del entrevistado, e información general del programa educativo

Aplicación de conocimiento y habilidades, tipos de empresas, grado de satisfacción de estudios, estudios posteriores, calificación al programa, emprendedurismo, diseño y desarrollo, puesto desempeñado, liderazgo

Universidad de Sonora (campus Hermosillo)

 

 

Ingeniería en Mecatrónica

21 o menos

Puesto laboral y sectores, experiencia estudiantil 

Competencias técnicas (diseño e instalaciones de plantas), proyectos de innovación, mejora de procesos, trabajo en equipo, pensamiento crítico

Universidad Católica de Santa María, Yanahuara, Perú

 

 

Ingeniería Electrónica

n/d

n/d

Competencia técnica, versatilidad y adaptabilidad, solución de problemas, dominio de ciencias, profesionalismo, trabajo en equipo, experimentación y pruebas, aprendizaje durante toda la vida

Universidad Privada de Trujillo, Perú 

Derecho

n/d

n/d

Pensamiento crítico, competencias técnicas, dominios de acción profesional

Fuente: Salas Mendoza y Acuña Leiva (2023); Treviño Cubero, et al. (2019); Universidad Veracruzana (2024); Universidad de Sonora (2022); Urrutia Espinoza (2021); Castellares Fergusson y Vílchez Ganoza (2020).

 

Método

Este artículo presenta una investigación aplicada en el campo de la evaluación educativa, centrada en la implementación de métodos y herramientas específicas para evaluar los Objetivos Educacionales (OE) en una universidad autónoma de México, con el objetivo de mejorar la calidad y relevancia de la educación superior. Con un propósito práctico, sigue el método de estudio de caso e incorpora herramientas de inteligencia de negocios para obtener resultados concretos que mejoren el caso de estudio. Además, esta investigación contribuye al avance del conocimiento en el campo de la evaluación educativa, proporcionando un punto de partida para futuras investigaciones.

El método empleado en esta investigación se integró en los procedimientos existentes de la institución bajo estudio (ITSON), específicamente en el proceso de Formación Profesional, abarcando las fases de planeación curricular y de evaluación y mejora continua de la oferta educativa. Así, el mecanismo de evaluación de OE propuesto como resultado de la investigación se hará formalmente una vez al año, siguiendo la dinámica habitual de operación de la universidad, asegurando que no sea un evento aislado, sino parte de un ciclo continuo. Este proceso se representa en la Figura 1, siguiendo el código de colores que la Institución utiliza para asegurar que sus procesos se orienten a la mejora continua: naranja para Planear, verde para Hacer, rosa para Verificar y azul para Actuar. El proceso comienza en la fase de Planeación Curricular del proceso institucional de Formación Profesional, cuando se establecen los OE para la oferta educativa por primera vez, como parte de la reestructuración curricular que ocurre aproximadamente cada siete años.

 

 

Figura 1. Proceso de evaluación de Objetivos Educacionales. Fuente: Elaboración propia.

 

Partiendo de los objetivos definidos en la Planeación Curricular, realizada en 2023, se diseñó el sistema de evaluación de los Objetivos Educacionales (OE) como parte de la fase de Planear (naranja). Este sistema incluye un instrumento de 23 ítems para recopilar los datos de los egresados mediante Google Forms (ver Tabla 4), similar a lo implementado por otras universidades (Salas Mendoza & Acuña Leiva, 2023; Universidad Veracruzana, 2024; Universidad de Sonora, 2022). Para el procesamiento de datos, se estableció un mecanismo que utiliza el software Microsoft Power BI para mostrar el logro de los OE en un panel de control.

 

Tabla 4. Ítems del instrumento por objetivo educacional

Objetivos educacionales

Ítems

OE1

Desarrollan carreras profesionales en organizaciones utilizando las competencias de Ingeniero industrial y de Sistemas

9

OE2

Participan de manera activa y permanente en el desarrollo y mejoramiento de sus competencias profesionales para dar respuesta a los cambios del entorno

3

OE3

Crean sus propias empresas aplicando las competencias de Ingeniería Industrial y de Sistemas en la práctica

3

OE4

Se desarrollan como líderes de equipos multidisciplinarios y multiculturales en organizaciones a nivel nacional e internacional

4

Sociodemográficos

4

Total de ítems

23

 

Con este sistema establecido, se planificó la primera evaluación de objetivos para noviembre de 2023. La estrategia inicial para contactar a los egresados implicó al responsable del programa, quien les envió el instrumento para su respuesta. Posteriormente, el director de tesis les recordó la importancia de su participación para los procesos de mejora continua. Este plan se implementó a principios de 2024 mediante la aplicación del instrumento a través de Google Forms, obteniendo 83 respuestas de egresados pertenecientes a diferentes cohortes generacionales. Los datos recolectados fueron transformados en información significativa a través del sistema de inteligencia de negocios diseñado en Power BI. Este proceso incluyó la conexión con Google Forms, la limpieza y preparación de datos utilizando Power Query, el modelado de datos y finalmente, la visualización y generación de informes a través de paneles interactivos. Los resultados proyectaron perspectivas interesantes sobre el logro de cada objetivo educacional evaluado.

 

Resultados y discusión

La primera pantalla del Panel de Resultados de la Evaluación de los OE diseñado en Power BI (ver https://bit.ly/EvaluacionOE-IIS), se muestra en la Figura 2 que presenta un resumen del nivel alcanzado en cada uno de los indicadores asociados a los objetivos evaluados. En la parte lateral izquierda, se muestra una tarjeta con el número de respuestas obtenidas, un gráfico de barras que indica la proporción correspondiente por año de egreso y un gráfico de líneas que representa el año de ingreso al programa de los egresados que respondieron, permitiendo identificar la cohorte generacional a la que pertenecen. Es importante mencionar que el sistema se aplicó no sólo a egresados del plan de estudios en evaluación (2016) sino también de otros planes (2009 o anteriores). No obstante, el sistema es capaz de filtrar únicamente las respuestas del plan de estudios en evaluación, gracias al segmentador que se presenta en la esquina superior derecha.

 

Figura 2. Panel de resultados de la evaluación de los Objetivos Educacionales del programa IIS.

 

El detalle de los datos obtenidos para cada OE puede accederse desde el menú de la parte superior. A continuación, se detallan estas nuevas pantallas. Primero, la evaluación reveló que el 94% de los egresados que respondieron la encuesta tiene experiencia laboral, con un promedio de 3 años. Estos egresados se desarrollan en organizaciones de diferentes sectores económicos, principalmente en el sector secundario (43%) y terciario (37%) como se muestra en la pestaña correspondiente al OE1 del panel en la Figura 3. Además, se observa que los puestos que ocupan están a nivel supervisor (49%) y mandos medios (45%) desempeñándose como ingenieros, gerentes, analistas, en áreas de calidad, operaciones, entre otros.

 

Figura 3. Resultados de la evaluación del objetivo educacional 1 (OE1).

 

Aquí es importante reflexionar sobre si el 100% de los egresados deben desarrollarse en alguna organización, considerando que no todos tendrán el mismo conjunto de intereses y habilidades. Probablemente, la mayoría puede preferir trabajar en organizaciones establecidas, pero otros pueden estar más inclinados hacia el emprendimiento, interesados en participar en proyectos de desarrollo comunitario o en organizaciones sin fines de lucro. Incluso algunos egresados pueden encontrar oportunidades de desarrollo profesional fuera de las organizaciones tradicionales, como el trabajo independiente (freelancing) o la consultoría. Para la universidad es crucial reconocer y apoyar esta diversidad, permitiendo que los egresados sigan el camino que mejor se adapte a sus metas profesionales y personales y que puedan hacer contribuciones significativas a la sociedad tanto dentro como fuera de las organizaciones. Todas estas actividades pueden tener un impacto positivo en la comunidad y en el mundo en general. Por estas razones y siguiendo la lógica del principio de Pareto, se pudiera establecer como meta que al menos el 80% de los egresados tenga experiencia laboral en alguna organización formal, para considerar que el OE1 se ha logrado.

Respecto al OE2, se puede destacar que la mayoría de los egresados se mantienen actualizados: el 47% ha cursado un posgrado y el 84% ha participado en educación continua, incluyendo cursos disciplinares, diplomados, certificaciones, congresos o estudios de idiomas. Los temas de actualización más comunes han sido logísticos (29%) calidad (15%) gestión organizacional (12%) y manufactura (12%) como se presenta en la pestaña correspondiente al OE2 del panel en la Figura 4.

 

Figura 4. Resultados de la evaluación del objetivo educacional 2 (OE2).

 

Para determinar si el OE2 se ha alcanzado, se tomaron como base los datos del ANUIES (ciclo 2022-2023) los cuales indican que en México cada año hay 709,280 egresados de licenciatura universitaria y tecnológica y 165,438 de posgrado. De estos datos, se puede deducir que la media nacional de egresados con posgrado es del 23%. No obstante, es importante mencionar que determinar un porcentaje mínimo aceptable de egresados con estudios de posgrado en el mundo de la ingeniería industrial es una tarea compleja que depende de varios factores, incluyendo las tendencias del mercado laboral, las necesidades de la industria y las expectativas de los empleadores. De esta manera, si se observa que el mercado laboral demanda cada vez más candidatos con niveles avanzados de educación, que los empleadores valoran especialmente a los egresados con estudios de posgrado o que la industria está evolucionando rápidamente y requiere profesionales altamente capacitados para enfrentar nuevos desafíos, puede ser apropiado establecer un porcentaje mínimo más alto para este indicador.

En segundo lugar, es importante destacar la relevancia de que los egresados se mantengan actualizados en su disciplina mediante cursos de educación continua, aunque no sean curriculares como un posgrado, ya que esta formación es crucial en un mundo donde el cambio es constante. Al igual que con los estudios de posgrado, determinar un porcentaje mínimo aceptable de egresados que hayan participado en estos programas dependerá de factores similares a los anteriores. La educación continua ofrece una forma más flexible y accesible de obtener capacitación adicional sin requerir grandes cantidades de tiempo o recursos, lo que hace más factible alcanzar altos valores en este indicador. Si al analizar las necesidades del mercado laboral se determina que los empleadores valoran la capacitación continua y el aprendizaje a lo largo de la vida, puede ser necesario establecer un porcentaje mínimo más alto de egresados que participen en cursos de educación continua. Estos cursos pueden proporcionar actualizaciones sobre las últimas tendencias, tecnologías y prácticas en la industria, lo que es crucial para el éxito profesional a largo plazo. En resumen, se considera que el OE2 se ha logrado. Como proyecto de mejora, se propone hacer un estudio para establecer un porcentaje mínimo aceptable de egresados actualizados en la disciplina mediante estudios de posgrado o educación continua.

Con relación al OE3, en la Figura 5 se presentan los resultados de la evaluación de este objetivo. Se encontró que el 16% de los egresados son dueños de sus propias empresas, de las cuales la mayoría son microempresas (84%) pertenecientes al sector terciario (46%) y secundario (38%).

 

Figura 5. Resultados de la evaluación del objetivo educacional 3 (OE3).

 

Aunque se reconoce que trabajar en una organización es la opción más popular para los egresados, en el OE3 se considera que la formación en ingeniería industrial y de sistemas puede proporcionarles las habilidades necesarias para emprender sus propios proyectos y empresas, ya que ofrece una capacitación integral para gestionar casi cualquier tipo de negocio. Sin embargo, se considera pertinente plantear un proyecto para determinar si ese 16% es un porcentaje adecuado. Este proyecto debería incluir un análisis detallado de las características de la población de egresados, evaluando su preparación para iniciar y gestionar empresas. Es necesario investigar si los egresados tenían experiencia previa en negocios o cómo adquirieron las habilidades necesarias para emprender. Además, el proyecto debería analizar el contexto regional para identificar la existencia de un entorno empresarial próspero y comprender la situación específica del programa y su mercado laboral. Con el resultado de un análisis de esta naturaleza, se podría establecer una meta específica en cuanto al porcentaje esperado de egresados que abran su propia empresa, incluso si el programa no se orienta específicamente al emprendimiento. Esto es fundamental para fomentar la diversidad de opciones profesionales y apoyar a los egresados en la búsqueda de oportunidades que se alineen con sus intereses, habilidades y valores.

Por último, en la Figura 6 se observan los resultados de la evaluación del OE4, el 67 % de los egresados tiene experiencia en liderazgo de Equipos de Alto Rendimiento (EAR) y el 54 % en equipos con extranjeros, mientras que el 22 % en experiencias laborales en el extranjero.

 

Figura 6. Resultados de la evaluación del objetivo educacional 4 (OE4).

 

Este porcentaje del 67 % de egresados con experiencia como líderes de equipos de alto rendimiento es impresionante y sugiere que el programa educativo está siendo exitoso en la preparación de líderes en la Ingeniería Industrial y de Sistemas. El porcentaje permite validar estas afirmaciones: (a) el programa ofrece una sólida formación en equipo que ha permitido a los egresados asumir roles de liderazgo eficazmente; (b) existe en el mercado laboral una alta demanda de líderes capacitados en la Ingeniería Industrial; y (c) el programa cumple con sus objetivos y prepara a los estudiantes para roles de liderazgo desde el principio. Estos resultados proporcionan una instantánea de la situación actual de los egresados del programa en el caso de estudio. No se espera que cada uno de estos indicadores alcance el 100%. En cambio, para establecer un valor objetivo, hay que considerar datos históricos que sirvan de referencia para determinar metas basadas en el desempeño pasado y otros datos relevantes, para que las metas sean significativas y realistas.

Para finalizar, es importante mencionar que el proceso de evaluación seguido en este caso de estudio incluye dos fases en las que se identifican y atienden áreas de mejora en los objetivos educacionales, su forma de evaluación, indicadores y metas; esto asegura que el sistema de evaluación se actualice en un ciclo de mejora continua. En esta primera aplicación, se identificó la necesidad de mejorar los mecanismos de distribución del instrumento a los egresados, con el fin de obtener una muestra más amplia, principal desafío que también se pudo observar de los casos de estudios revisados en la literatura, en los cuales reporta que no se obtuvo el número de respuestas deseadas por parte de los egresados (la muestra en la mayoría era menor a 80 e incluso menor a 50 personas). También se recomienda hacer pruebas de validez y confiabilidad al instrumento de evaluación aquí para asegurar un alto grado de relevancia y coherencia teórica y profundizar en la complementariedad del proceso de evaluación entre los AE y los OE, como sugiere García Cortés, et al. 2023. 

 

Conclusiones y recomendaciones

La evaluación de objetivos educacionales (OE) es una práctica fundamental en el contexto educativo actual, desempeñando un papel crucial en la mejora continua de la calidad educativa y la adaptación a las necesidades cambiantes de los estudiantes y la sociedad, ya que permite a las instituciones educativas identificar fortalezas y áreas de mejora en sus programas académicos. Mediante la recopilación y el análisis de datos sobre el desempeño de los egresados, los educadores pueden ajustar el currículo, las metodologías de enseñanza y los recursos educativos para asegurar que se alcancen los objetivos deseados. Este ciclo de retroalimentación y ajuste es esencial para mantener altos estándares de calidad educativa y para responder de manera efectiva a los cambios en las demandas del mercado laboral y la sociedad.

La evaluación de OE es una base objetiva para medir el éxito de los programas educativos, lo que es crucial para rendir cuentas ante estudiantes, padres, empleadores, organismos acreditadores e instancias gubernamentales, para las universidades públicas. Al tener datos concretos sobre el desempeño y el logro de objetivos, las instituciones pueden demostrar de manera transparente su eficacia y justificar la asignación de recursos y la implementación de cambios curriculares.

Implementar y mantener sistemas robustos de evaluación de OE como el desarrollado en el caso de estudio, fomenta una cultura de evaluación y mejora continua en las instituciones educativas. En el contexto educativo actual, caracterizado por la rápida evolución tecnológica, la globalización y la diversificación de las trayectorias profesionales, esta cultura es esencial para el desarrollo de programas académicos que estén alineados con las mejores prácticas internacionales y las necesidades emergentes de la sociedad. Las instituciones educativas deben ser ágiles y capaces de responder a los cambios con rapidez y precisión y la evaluación de OE con apoyo en herramientas como los paneles de control, permite procesar los datos de manera más eficiente para generar información necesaria en la toma decisiones.

En el caso de estudio, el proceso de evaluación de OE ha sido integrado formalmente al proceso institucional de Formación Profesional de ITSON, lo que garantiza su ejecución periódica. Además, al diseñarse siguiendo el mismo esquema bajo la filosofía del PHVA, se incluyen fases de identificación y atención a áreas de mejora en los OE, su forma de evaluación, indicadores y metas. Así, en la primera aplicación, se identificó la necesidad de mejorar los mecanismos de distribución del instrumento de evaluación a los egresados para obtener una muestra más amplia. Además, con el sistema diseñado con Power BI, se ofrecen insights valiosos sobre el logro de los OE que facilitan la toma de decisiones para la mejora del programa educativo y su adaptación a las necesidades del mercado laboral y las tendencias educativas.

Se considera esencial que las instituciones educativas, sus investigadores y responsables de la política pública trabajen juntos para innovar y avanzar en las prácticas de evaluación, asegurando que éstas sean relevantes, efectivas y justas. Por ejemplo, se pueden considerar varias de investigación y desarrollo como el desarrollo de metodologías de evaluación avanzadas que aplique técnicas de análisis de datos, como el aprendizaje automático y la inteligencia artificial, para identificar patrones y tendencias en el desempeño de los egresados. Al abordar las áreas mencionadas, los investigadores pueden contribuir significativamente a la mejora de la calidad educativa y a la preparación de los estudiantes para enfrentar los desafíos del mundo moderno.

 

Referencias bibliográficas

Abbadeni, N., Ghoneim, A., & Alghamdi, A. (2013). Program Educational Objectives Definition and Assessment for Quality and Accreditation. International Journal of Engineering Pedagogy, 3(3), 33-46. http://dx.doi.org/10.3991/ijep.v3i3.2777

Accreditation Board for Engineering and Technology - ABET. (s.f.). Our Global Impact. Sitio web de ABET. https://www.abet.org/

Asociación Nacional de Universidades e Instituciones de Educación Superior - ANUIES (2023). Anuarios Estadísticos de Educación Superior. Sitio web de ANUIES. http://www.anuies.mx/informacion-y-servicios/informacion-estadistica-de-educacion-superior/anuario-estadistico-de-educacion-superior

Backhoff Escudero, E. (2018). Evaluación estandarizada del logro educativo: contribuciones y retos. Revista Digital Universitaria. 9(19). 1-15. http://doi.org/10.22201/codeic.16076079e.2018.v19n6.a3

Canabal, C. & Margalef, L. (2017). La retroalimentación: la clave para una evaluación orientada al aprendizaje. Profesorado. Revista de Currículum y Formación de Profesorado, 21 (2). 149-170. https://www.redalyc.org/pdf/567/56752038009.pdf

Castellares Fergusson, I., & Vílchez Ganoza, M. (2020). Seguimiento del egresado: cumplimiento de los objetivos educacionales de la Facultad de Derecho. Revista Científica SEARCHING de Ciencias Humanas y Sociales, 1(1), 17-25. https://doi.org/10.46363/searching.v1i1.122

Cruzado Saldaña, J.J. (2022). La evaluación formativa en la educación. Comuni@cción, 13(2). 149-160. https://doi.org/10.33595/2226-1478.13.2.672

Consejo de Acreditación de la Enseñanza de la Ingeniería - CACEI. (2018). Marco de referencia de CACEI. Obtenido de Sitio web de CACEI: https://cacei.org.mx/

European Network for Accreditation of Engineering Education - ENAEE. (s.f.). ENAEE. Obtenido de Home: https://www.enaee.eu

Espinoza Freire, E. E (2021). Importancia de la retroalimentación formativa en el proceso de enseñanza-aprendizaje. Universidad y Sociedad, 13(4). 389-397. http://www.scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202021000400389

Fernández, S. (2017). Evaluación y aprendizaje. marcoELE. Revista de Didáctica Español Lengua Extranjera, (4). https://www.redalyc.org/journal/921/92153187003/html/

García Cortés, G. E., Flores Licón, M.R & Castillo Pérez, M.L. (2023). Valoración de objetivos educacionales: una propuesta para su medición y mejora. Roca. Revista científico-Educacional De La Provincia Granma, 19(3), 314-330. https://revistas.udg.co.cu/index.php/roca/article/view/4043

Gutiérrez Benítez, J. G. & Acuña Gamboa, L.A. (2022). Evaluación estandarizada de los aprendizajes: una revisión sistemática de la literatura. CPU-e, Revista de Investigación Educativa. (34). 321-351. https://doi.org/10.25009/cpue.v0i34.2800

Hernández Madrigal, P. (2009). Campos de Acción del Psicólogo Educativo: Una Propuesta Mexicana. Psicología Educativa. Revista de los Psicólogos de la Educación. 15(2). 165-175. https://www.redalyc.org/pdf/6137/613765490007.pdf

Maza Luna, K. A., Ramírez Lazos, E., & Avila Esquivel, N. (2019). Integración de instituciones de ingenierías a sistemas de gestión para el logro de objetivos educacionales. ANFEI Digital, 6(11), 1-8. https://anfei.mx/revista/index.php/revista/article/view/585

Moreno Martín, G., Martínez Martínez, R., Moreno Martín, M., Fernández Nieto, M.I. & Guadalupe Núñez, S.V. (2017). Acercamiento a las Teorías del Aprendizaje en la Educación Superior. Revista UNIANDES Episteme. 4 1). 48-60. https://revista.uniandes.edu.ec/ojs/index.php/EPISTEME/article/view/346

Núñez-Valdés, K.; Núñez-Valdés, G. & Castillo-Paredes, A. (2024). Retroalimentación en el contexto educativo: Una revisión sistemática. Formación universitaria. 17 (2). 61-72. http://dx.doi.org/10.4067/s0718-50062024000200061 

Ramírez Lazos, E., Avila Esquivel, N. & Maza Luna, K. A. (). La actualización de planes de estudios basados en nuevos retos: estándares internacionales e industria 4.0. XLVII Conferencia Nacional de Ingeniería. México. https://www.anfei.mx/cni2020/sesiones-de-ponencias/sala-3/resumen/13/

Rojas Villegas, J. J. (2019). Acciones recomendadas para implementar en una fase previa al autoestudio con fines de acreditación. ANFEI Digital, 6(11), 1-10. https://anfei.mx/revista/index.php/revista/article/view/562

Salas Mendoza, G. C., & Acuña Leiva, R. (2023). Análisis de la situación laboral y los resultados del logro de los objetivos educacionales de los egresados (promociones 2011, 2012 y 2013) de la carrera profesional de Farmacia y Bioquímica de la UNMSM. Tesis de pregrado. Perú: Universidad Nacional Mayor de San Marcos. https://hdl.handle.net/20.500.12672/19406

Sandoval Rubilar, P., Maldonado-Fuentes, A.C., & Tapia-Ladino, M. (2022). Evaluación educativa de los aprendizajes: Conceptualizaciones básicas de un lenguaje profesional para su comprensión. Páginas de Educación. 15(1). https://doi.org/10.22235/pe.v15i1.2638

Treviño Cubero, A., García Ancira, C., & Martínez Moreno, A. R. (2023). Estrategia para la Acreditación del programa Ingeniero en Mecatrónica, en la Universidad Autónoma de Nuevo León. Revista Cubana De Educación Superior, 38(1), 1-18. https://revistas.uh.cu/rces/article/view/2485

Universidad de Sonora. (2022). Reporte de evaluación de Objetivos Educacionales. División de Ingeniería. Coordinación del Programa de Ingeniería Industrial y de Sistemas. Sitio web de la UNISON. https://www.industrial.uson.mx/cacei_docs/5.%20Reporte%20de%20encuesta%20de%20evaluaci%C3%B3n%20de%20egresados%20de%20objetivos%20educacional.%20PE%202022..pdf

Universidad de Sonora. (2022). Reporte de evaluación de Objetivos Educacionales. División de Ingeniería. Coordinación del Programa de Ingeniería en Mecatrónica. Sitio web de la UNISON. https://www.industrial.uson.mx/cacei_docs/REPORTE%20OE%20encuesta%20de%20egresados.pdf

Universidad Veracruzana. (2024). Informe de evaluación de Objetivos Educacionales para el programa educativo Ingeniería Civil. Facultad de Ingeniería Civil. Región Poza Rica-Tuxpan. https://www.uv.mx/pozarica/ingenieriacivil/files/2021/11/REPORTE-DE-EVAL-OE%C2%B4S-2024.pdf

Urrutia Espinoza, M. W. (2021). Evaluación del modelo de acreditación ABET: Resultados del estudiante egresante y logro de los objetivos educacionales de los egresados de la Escuela Profesional de Ingeniería Electrónica de la UCSM, periodo de estudios 2017 y 2018 - Arequipa - 2019. Tesis de posgrado. Perú: Universidad Católica de Santa María. https://repositorio.ucsm.edu.pe/handle/20.500.12920/10826

 

 

Comparte esta página: