05
Metodología
Enfoque de la evaluación (métodos mixtos, participativo, basado en la teoría)
La evaluación adoptó un enfoque de métodos mixtos, participativo y centrado en la utilización, combinando métodos cualitativos y cuantitativos para evaluar las dimensiones de relevancia, eficiencia, eficacia, impacto, sostenibilidad, coordinación, cobertura y participación del proyecto. La metodología se guio principalmente por los criterios de evaluación del CAD de la OCDE, integrando además dimensiones humanitarias adicionales como la conectividad, la rendición de cuentas, la sensibilidad al género y la edad, los enfoques basados en los derechos humanos y el principio de "No causar daño".
La evaluación se diseñó para generar hallazgos basados en evidencia, garantizando al mismo tiempo que las perspectivas de las partes interesadas clave, incluidos los titulares de derechos, los socios implementadores, los trabajadores sanitarios y los actores institucionales, estuvieran adecuadamente representadas. El enfoque enfatizó la triangulación de múltiples fuentes de datos y métodos para fortalecer la validez y fiabilidad de los hallazgos. La evaluación adoptó además una perspectiva basada en la teoría, examinando cómo las actividades e intervenciones del proyecto contribuyeron al logro de los resultados esperados (R1–R4) y del Objetivo Específico (OE). Además de evaluar si se alcanzaron los resultados, la metodología buscó comprender cómo y por qué se produjeron los cambios en las tres áreas de intervención de Kampala, Kyaka II y Adjumani.
Criterios de evaluación
La evaluación se estructuró en torno a los criterios de evaluación del CAD de la OCDE y a dimensiones adicionales de evaluación humanitaria descritas en los Términos de Referencia. La evaluación se centró en:
Relevancia y adecuación
Eficacia
Eficiencia
Impacto
Sostenibilidad (viabilidad)
Conectividad y coherencia
Coordinación
Cobertura
Apropiación y participación
Los temas transversales, incluyendo la igualdad de género, la sensibilidad a la edad, los derechos humanos, la sensibilidad al conflicto, la rendición de cuentas ante las poblaciones afectadas (AAP) y las consideraciones ambientales, se integraron en todo el proceso de evaluación y análisis.
Fuentes de datos y métodos de recopilación
La evaluación utilizó fuentes de datos tanto primarias como secundarias.
Revisión documental
Se llevó a cabo una exhaustiva revisión de escritorio utilizando documentación relacionada con el proyecto y literatura secundaria. Los materiales revisados incluyeron:
Propuestas de proyectos y marcos lógicos
Informes de línea de base y finales
Informe del proyecto
Datos de DHIS2
Políticas nacionales y marcos humanitarios pertinentes
La revisión documental proporcionó una comprensión contextual e informó el desarrollo de las herramientas de recopilación de datos y los marcos analíticos.
El proyecto había finalizado recientemente una evaluación final antes del inicio de la evaluación externa. Una revisión de los conjuntos de datos del estudio final indicó que la información disponible era lo suficientemente exhaustiva y fiable para respaldar los objetivos de la evaluación. Llevar a cabo otra encuesta de hogares en un periodo corto tras la evaluación final suponía el riesgo de una participación repetitiva con las mismas poblaciones y podría afectar potencialmente a la calidad y coherencia de las respuestas, además de la fatiga de los entrevistados. Por lo tanto, la evaluación se centró en triangular los conjuntos de datos cuantitativos existentes con los hallazgos cualitativos de las Entrevistas a Informantes Clave (KII, por sus siglas en inglés), los Grupos de Discusión (FGD, por sus siglas en inglés) y la revisión documental, con el fin de generar una evaluación exhaustiva y creíble del desempeño del proyecto.
Entrevistas a Informantes Clave (KII)
Se realizaron Entrevistas a Informantes Clave con una amplia gama de partes interesadas involucradas en la implementación y supervisión del proyecto. Entre ellas se encontraban representantes de:
Farmamundi
Africa Humanitarian Action (AHA)
EMESCO
Office of the Prime Minister (OPM)
Ministerio de Salud (MoH)
Kampala Capital City Authority (KCCA)
Gobiernos locales de los distritos
Personal de los centros de salud
Líderes comunitarios y otros actores humanitarios
Las KII proporcionaron información detallada sobre la implementación del proyecto, los mecanismos de coordinación, la capacidad institucional, los desafíos y los resultados percibidos.
Grupos de Discusión (FGD)
Se llevaron a cabo Grupos de Discusión con miembros de la comunidad de refugiados y de la comunidad de acogida en las tres áreas de intervención. Los debates incluyeron a:
Mujeres
Hombres
Adolescentes y jóvenes
Equipos de Salud de las Aldeas (VHT)
Estructuras y líderes comunitarios
Los FGD exploraron las percepciones de la comunidad respecto al acceso a la atención sanitaria, el MHPSS, los servicios de SGBV, la participación, la rendición de cuentas y la relevancia y eficacia general del proyecto.
Estrategia de muestreo
La evaluación abarcó las tres áreas de implementación del proyecto: Kampala, Kyaka II y Adjumani. Se utilizó un enfoque de muestreo intencional para las Entrevistas a Informantes Clave y los Grupos de Discusión con el fin de asegurar la participación de encuestados con conocimientos, experiencia o realidades vividas relevantes relacionadas con la intervención. Se realizaron esfuerzos para garantizar la diversidad y la representación por género, edad y categorías de vulnerabilidad, incluyendo a mujeres, adolescentes y actores a nivel comunitario. La selección de las instalaciones y de los encuestados se guio por la cobertura del proyecto, la accesibilidad y la relevancia para los objetivos de la evaluación.
Análisis de datos
Los datos cualitativos de las KII y los FGD se analizaron mediante análisis temático. Las respuestas se organizaron de acuerdo con los temas y criterios clave de la evaluación, lo que permitió identificar patrones recurrentes, percepciones y problemas emergentes en las tres áreas de intervención.
Los datos cuantitativos procedentes de los registros rutinarios, los sistemas de seguimiento del proyecto y el conjunto de datos de la evaluación final se analizaron de forma descriptiva para evaluar las tendencias y los progresos relacionados con los indicadores del proyecto y la utilización de los servicios. Dado que el conjunto de datos de la evaluación final sirvió como el conjunto de datos cuantitativos principal a nivel de hogar para la evaluación, se realizó un análisis comparativo entre los conjuntos de datos de referencia (baseline) y finales (endline) con el fin de evaluar los cambios a lo largo del periodo de implementación del proyecto. Esto incluyó el análisis de indicadores relacionados con el acceso y la utilización de la atención sanitaria, el apoyo a la salud mental y psicosocial (MHPSS), la violencia de género (GBV), los niveles de concienciación, la participación y los mecanismos de rendición de cuentas en las áreas de intervención de Kampala, Kyaka II y Adjumani.
Los hallazgos de diferentes fuentes y métodos se triangularon para reforzar la coherencia, la credibilidad y la interpretación general. El análisis se guio además por la teoría del cambio y el marco lógico del proyecto, vinculando los hallazgos con los resultados previstos (R1–R4) y el Objetivo Específico.
Consideraciones éticas
La evaluación se llevó a cabo de acuerdo con los principios éticos aplicables a las evaluaciones humanitarias y de salud pública. La participación en las entrevistas y discusiones fue voluntaria, y se obtuvo el consentimiento informado de los participantes antes de su intervención. Se prestó especial atención a la confidencialidad, la privacidad y la protección de las personas vulnerables, en particular de los supervivientes de la violencia de género. La evaluación se adhirió a los principios de «No hacer daño» y aplicó enfoques centrados en el superviviente durante toda la recopilación de datos y los procesos de presentación de informes. No se incluyó ninguna información de identificación personal en el informe, y la información recopilada durante la evaluación se utilizó estrictamente para fines de evaluación.
Limitaciones de la evaluación
Se encontraron varias limitaciones durante el proceso de evaluación. Estas incluyeron restricciones de tiempo asociadas con la realización del trabajo de campo en ubicaciones geográficamente dispersas y la sensibilidad de ciertos temas, particularmente aquellos relacionados con la Violencia Sexual y de Género (SGBV) y la salud mental. En algunos casos, el sesgo de memoria pudo haber afectado las respuestas de los participantes, especialmente cuando los encuestados reflexionaron sobre actividades implementadas durante un periodo prolongado. Además, la evaluación se basó en parte en datos rutinarios del proyecto y del sistema de salud, los cuales podrían haber contenido inconsistencias o vacíos de información.
A pesar de estas limitaciones, la triangulación de múltiples fuentes de datos y métodos ayudó a fortalecer la fiabilidad y credibilidad de los hallazgos.