RESOLUCIÓN ORGÁNICA 12 DE 2020

(julio 14)

Diario Oficial No. 51.380 de 19 de julio de 2020

AUDITORÍA GENERAL DE LA REPÚBLICA

<NOTA DE VIGENCIA: Resolución derogada por el artículo 10 de la Resolución 15 de 2020>

Por la cual se adoptan el procedimiento, la metodología y los parámetros para la certificación anual de gestión y las evaluaciones parciales trimestrales de las contralorías territoriales.

LA AUDITORA GENERAL DE LA REPÚBLICA,

en ejercicio de las facultades constitucionales y legales, especialmente las conferidas en el artículo 274 de la Constitución Política, en los numerales 7 y 14 del artículo 17 del Decreto Ley 272 de 2000 y en el artículo 30 del Decreto Ley 403 de 2020; y

CONSIDERANDO:

Que el artículo 274 de la Constitución Política, modificado por el artículo 5o del Acto Legislativo número 04 de 2019, por medio del cual se reforma el Régimen de Control Fiscal, señala que “La vigilancia de la gestión fiscal de la Contraloría General de la República y de todas las contralorías territoriales se ejercerá por el Auditor General de la República, elegido por el Consejo de Estado de terna enviada por la Corte Suprema de Justicia, siguiendo los principios de transparencia, publicidad, objetividad, participación ciudadana y equidad de género, para un periodo de cuatro años. (…)”;

Que el artículo 272 de la Constitución Política, modificado por el artículo 4o del Acto Legislativo número 04 de 2019, establece que: “(…) La Auditoría General de la República realizará la certificación anual de las contralorías territoriales a partir de indicadores de gestión, la cual será el insumo para que la Contraloría General de la República intervenga administrativamente las contralorías territoriales y asuma competencias cuando se evidencie falta de objetividad y eficiencia. (…)”;

Que el numeral 7 del artículo 17 del Decreto Ley 272 de 2000, establece como una de las funciones del Auditor General de la República “Certificar la gestión y resultados de las entidades sometidas a su vigilancia”;

Que el numeral 14 del artículo 17 del Decreto Ley 272 de 2000, señala que es función del Auditor General de la República “Asignar a las distintas dependencias y funcionarios de la Auditoría General de la República las competencias y tareas necesarias para el cabal cumplimiento de las funciones constitucionales y legales, (…)”;

Que el artículo 30 del Decreto Ley 403 de 2020, establece que: “(…) La Auditoría General de la República, en ejercicio de sus atribuciones constitucionales y legales de vigilancia y control fiscal, realizará la certificación anual de todas y cada una de las contralorías territoriales, a partir de la evaluación de indicadores de gestión que permitan medir y calificar las capacidades de estas para el cumplimiento objetivo y eficiente de sus funciones. (…) Una vez expedida la certificación anual, esta deberá ser remitida al Contralor General de la República dentro de los cinco (5) días siguientes para lo de sus competencias constitucionales y legales”;

Que el parágrafo primero del artículo 30 del Decreto Ley 403 de 2020, dispone que: “(…) La certificación debe expedirse dentro del primer trimestre siguiente a la finalización del plan general de auditorías respectivo” y así mismo, prevé que “Se practicarán evaluaciones parciales trimestrales, que servirán como insumo para que las contralorías territoriales adopten medidas tendientes a superar las falencias evidenciadas”;

Que el parágrafo segundo del mismo artículo 30 dispone que: “(…) La primera certificación anual se expedirá en el primer trimestre del año (…)”;

Que el 15 de julio de 2019, con antelación a la expedición del Acto Legislativo 04 de 2019 y del Decreto Ley 403 de 2020, la Auditoría General de la República expidió la Resolución Orgánica 007 de 2019, por la cual se adoptan los parámetros para la certificación de las entidades sometidas a la vigilancia de la gestión fiscal;

Que tanto la certificación anual de gestión, como las evaluaciones parciales trimestrales, se soportarán en los resultados obtenidos en la medición de indicadores de gestión y resultados, conforme a los principios de la vigilancia y del control fiscal previstos en el artículo 3o del Decreto Ley 403 de 2020; y tendrán el propósito de conseguir un mejoramiento continuo en el cumplimiento objetivo y eficiente de las funciones constitucionales y legales a cargo de las contralorías territoriales;

Que es necesario elaborar y adoptar una metodología para expedir la certificación anual de gestión y los informes de evaluación parcial trimestral, siguiendo las reglas que se desprenden del nuevo marco constitucional y legal del control fiscal;

En mérito de lo expuesto, la Auditora General de la República, en uso de sus facultades constitucionales y legales:

RESUELVE:

ARTÍCULO 1o. CERTIFICACIÓN ANUAL DE GESTIÓN. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La Auditoría General de la República realizará la certificación anual de gestión de las contralorías territoriales, a partir de la evaluación de indicadores de gestión que permitan medir y calificar las capacidades de estas para el cumplimiento objetivo y eficiente de sus funciones.

Para realizar la certificación anual de gestión de las contralorías territoriales, la Auditoría General de la República tendrá como principal fuente de información la que rindan las contralorías territoriales durante la vigencia evaluada, de conformidad con la resolución de rendición de cuentas e informes que para el efecto expida la Auditoría General de la República. Lo anterior, sin perjuicio de las verificaciones que en trabajo de campo pueden realizar los auditores.

La certificación anual de gestión de las contralorías territoriales será expedida por el Auditor General de la República a más tardar el 31 de marzo de la vigencia siguiente, y será remitida al Contralor General de la República dentro de los cinco (5) días hábiles siguientes a su expedición.

ARTÍCULO 2o. EFECTOS DE LA CERTIFICACIÓN. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La certificación anual de gestión de las contralorías territoriales expedida por la Auditoría General de la República será el insumo para que la Contraloría General de la República intervenga administrativamente las contralorías territoriales y asuma competencias, de conformidad con lo dispuesto en el inciso 5 del artículo 272 de la Constitución Política, modificado por el artículo 4o del Acto Legislativo 004 de 2019.

ARTÍCULO 3o. PROCEDIMIENTO DE EXPEDICIÓN DE LA CERTIFICACIÓN. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La certificación será expedida mediante acto administrativo, conforme a las siguientes reglas:

1. En la expedición de la certificación se garantizará el ejercicio del derecho de defensa y de contradicción por parte de las contralorías territoriales, para lo cual, antes de su emisión definitiva, se correrá traslado por dos (2) días hábiles a la correspondiente contraloría territorial para que dentro de este plazo improrrogable presente sus observaciones.

2. Agotado el anterior plazo y dentro del término señalado en el tercer inciso del artículo 1o de la presente resolución, se expedirá el acto administrativo por medio del cual se emite la certificación.

3. Contra este acto administrativo procederá el recurso de reposición, de conformidad con lo dispuesto en el artículo 76 y siguientes de la Ley 1437 de 2011

ARTÍCULO 4o. LEVANTAMIENTO DE LA CERTIFICACIÓN. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> En cualquier tiempo, si con posterioridad a la expedición de la certificación anual de las contralorías territoriales aparecieren pruebas de maniobras u operaciones fraudulentas o irregulares, o de presentación de información carente de veracidad, que hubieran incidido en los resultados favorables de dicha evaluación, la Auditoría General de la República ordenará levantar la certificación, de acuerdo con las siguientes reglas:

1. Una vez se advierta la existencia de maniobras u operaciones fraudulentas o irregulares o de información carente de veracidad, se correrá traslado de lo hallado a la contraloría interesada, para que en un término improrrogable de cinco (5) días hábiles, presente los argumentos y pruebas que pretenda hacer valer, para desvirtuar los hallazgos y análisis de la Auditoría General de la República.

2. Cumplido el término anterior y practicadas las pruebas que se consideren pertinentes, la Auditoría General de la República emitirá el pronunciamiento respectivo en el que podrá aceptar los argumentos presentados o rechazar los mismos. En el último caso, procederá a emitir el acto administrativo de levantamiento de la certificación.

3. Contra la decisión de levantamiento de certificación procede el recurso de reposición, de conformidad con lo dispuesto en el artículo 76 y siguientes de la Ley 1437 de 2011.

4. En el evento en que se realice el levantamiento de la certificación, en el mismo acto administrativo se dará traslado a las autoridades administrativas o judiciales que correspondan. El levantamiento de la certificación será remitido al representante legal de la contraloría afectada y al Contralor General de la República, dentro de los cinco (5) días hábiles siguientes a su expedición.

ARTÍCULO 5o. EVALUACIONES PARCIALES TRIMESTRALES. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La Auditoría General de la República practicará evaluaciones parciales trimestrales a las contralorías territoriales, luego de lo cual les comunicará los resultados con el fin de que puedan adoptar las medidas necesarias para superar las falencias evidenciadas.

La fuente de información principal para la evaluación será la que rindan de manera acumulada las contralorías territoriales, de conformidad con la resolución de rendición de cuentas e informes que expida el Auditor General de la República. Lo anterior, sin perjuicio de las verificaciones que en trabajo de campo puedan realizar los auditores.

ARTÍCULO 6o. PERIODOS Y FECHAS DE LAS EVALUACIONES PARCIALES TRIMESTRALES. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La Auditoría General de la República practicará las evaluaciones parciales trimestrales, así:

a) Primera evaluación parcial trimestral del año: la información a evaluar será la rendida respecto del periodo comprendido entre el 1 de enero y el 31 de marzo. El informe de evaluación parcial se emitirá a más tardar el 15 de mayo de cada año.

b) Segunda evaluación parcial trimestral del año: la información a evaluar será la acumulada rendida respecto del periodo comprendido entre el 1 de abril y el 30 de junio. El informe de evaluación parcial se emitirá a más tardar el 15 de agosto de cada año.

c) Tercera evaluación parcial trimestral del año: la información a evaluar será la acumulada rendida respecto del periodo comprendido entre el 1 de julio y el 30 de septiembre. El informe de evaluación parcial se emitirá a más tardar el 15 de noviembre de cada año.

d) Cuarta evaluación parcial trimestral del año: en la medida en que la información rendida respecto del periodo comprendido entre el 1 de octubre y el 31 de diciembre será la acumulada de la vigencia, sus resultados de evaluación harán parte de la certificación anual de gestión.

PARÁGRAFO transitorio. Evaluaciones parciales trimestrales respecto de la vigencia 2020. Dada la fecha de entrada en vigor del Decreto Ley 403 de 2020, por la transición normativa, respecto de la vigencia 2020, se realizarán tres evaluaciones parciales trimestrales a las contralorías territoriales. La primera, con la información consolidada rendida respecto del periodo comprendido entre el 1 de enero y el 30 de junio de 2020, cuyo informe de evaluación parcial se emitirá a más tardar el 28 de agosto de 2020 respecto de todas las contralorías territoriales, salvo la Contraloría de Bogotá, que se emitirá a más tardar el 15 de septiembre de 2020. La segunda y la tercera, conforme a los literales c) y d) de este artículo de la presente resolución.

ARTÍCULO 7o. RESPONSABLES DE EMITIR LA CERTIFICACIÓN ANUAL Y LOS INFORMES DE EVALUACIÓN PARCIAL TRIMESTRAL. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La Oficina de Estudios Especiales y Apoyo Técnico de la Auditoría General de la República será la dependencia responsable de aportar los resultados de la medición de los indicadores a los Gerentes Seccionales y al Director de Control Fiscal.

Los Gerentes Seccionales y el Director de Control Fiscal, según corresponda, de acuerdo con la distribución de competencias establecida al interior de la entidad, serán los responsables de analizar los resultados de la medición de indicadores y de elaborar la certificación anual de sus sujetos de control y los informes de evaluación parcial trimestral.

La Auditoría Delegada para la Vigilancia de la Gestión Fiscal coordinará la elaboración, revisión y presentación de la certificación anual de gestión de las contralorías territoriales al Auditor General de la República, con la asesoría y el acompañamiento permanente de la Oficina de Estudios Especiales y Apoyo Técnico de la entidad.

El Auditor General de la República emitirá la certificación anual de gestión de las contralorías territoriales.

Los Gerentes Seccionales y el Director de Control Fiscal serán los responsables de emitir los informes de evaluación parcial trimestral.

ARTÍCULO 8o. METODOLOGÍA PARA LA CERTIFICACIÓN ANUAL DE GESTIÓN Y LOS INFORMES DE EVALUACIÓN PARCIAL TRIMESTRAL. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La Auditoría General de la República adopta la metodología de evaluación de las contralorías territoriales, para lo cual diseñó, fijó e implementó los indicadores que serán objeto de medición y calificación, atendiendo a variables objetivas de orden cuantitativo y cualitativo de gestión y resultados de las contralorías territoriales, con la asesoría de la Oficina de Estudios Especiales y Apoyo Técnico y de la Auditoría Delegada para la Vigilancia de la Gestión Fiscal.

La metodología incluye criterios diferenciados para tener en cuenta las particularidades de las contralorías territoriales y el ámbito de actuación de cada una. Este instrumento denominado “Metodología para la Certificación Anual de Gestión y las Evaluaciones Parciales Trimestrales de las Contralorías Territoriales” hace parte integral de la presente resolución.

Su aplicación permitirá medir y calificar la capacidad para el cumplimiento objetivo y eficiente de las funciones de las contralorías territoriales, resultado que será consignado en los informes de evaluación parcial trimestral y en la certificación anual de gestión.

Previamente a su primera aplicación, la referida metodología será divulgada y puesta en conocimiento de los contralores territoriales y del Sinacof. Las mejoras que eventualmente se efectúen a la metodología les serán comunicadas mediante circular suscrita por el Auditor Delegado para la Vigilancia de la Gestión Fiscal.

PARÁGRAFO transitorio. Por única vez, los resultados de las evaluaciones trimestrales y anual de las contralorías territoriales respecto de la gestión del año 2020, tendrán en consideración las especiales circunstancias surgidas por efecto de la pandemia ocasionada por el COVID-19, teniendo en cuenta que las medidas adoptadas por el Gobierno nacional inciden directamente en la gestión de las contralorías territoriales. En consecuencia, tales circunstancias serán valoradas para emitir la certificación anual correspondiente.

ARTÍCULO 9o. CALIDAD DE LA INFORMACIÓN RENDIDA Y REPORTADA POR LAS CONTRALORÍAS. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> Las contralorías territoriales son responsables de garantizar la exactitud y veracidad de toda la información que rinden a la Auditoría General de la República, so pena de incurrir en las conductas sancionables que para el efecto se establecen en el Título IX - Procedimiento Administrativo Sancionatorio Fiscal del Decreto Ley 403 de 2020.

ARTÍCULO 10. VIGENCIA. <Resolución derogada por el artículo 10 de la Resolución 15 de 2020> La presente resolución rige a partir de la fecha de su publicación en el Diario Oficial y deroga todas las normas que le sean contrarias, en especial la Resolución Orgánica 007 de 2019 expedida por la Auditoría General de la República.

Comuníquese, publíquese y cúmplase.

Dada en Bogotá, D. C., a 14 de julio de 2020.

La Auditora General de la República,

Alma Carmenza Erazo Montenegro.

Nota: Documento firmado digitalmente

Anexo I: Metodología de evaluación para la certificación anual de gestión de las contralorías territoriales y los informes de evaluación parcial trimestral.

METODOLOGIA PARA LA CERTIFICACIÓN ANUAL DE GESTIÓN Y LAS EVALUACIONES PARCIALES

TRIMESTRALES DE LAS CONTRALORÍAS TERRITORIALES

Versión 1.0

Auditoría General de la República, 2020.

Alma Carmenza Erazo Montenegro

Auditora General de la República

Luz JImena Duque Botero

Auditora Auxiliar

Equipo de trabajo

Tatiana Ordóñez Vásquez	Directora de Responsabilidad Fiscal y Jurisdicción Coactiva
Juan Diego Doncel Ramírez	Director de Control Fiscal
Vlasov David Vega Rocha	Director de Estudios Especiales y Apoyo Técnico
Andrés Castro Franco	Gerente Seccional II
Sandra Patricia Silva Mejia	Asesora del Despacho
Tatiana Bedoya Díaz	Asesora del Despacho
Liliana Patricia Ortiz Ospino	Asesora del Despacho
Jhonny Marión Cárdenas Arévalo	Asesor del Despacho
Omar Hugo Rivas Jiménez	Profesional Especializado
Elizabeth Chaves Benavides	Profesional Especializada
Isaac de León Bdtrán Pacheco	Contratista
Luis Ricardo Martínez Ramírez	Contratista
Diego Andrés Buesaquillo Salazar	Contratista

TABLA DE CONTENIDO

INTRODUCCIÓN

MARCO NORMATIVO

CRITERIOS DIFERENCIADOS: EL USO DE INDICADORES DE GESTIÓN

LA AGRUPACIÓN DE LAS CONTRALORÍAS TERRITORIALES

METODOLOGÍA PARA LA CERTIFICACIÓN ANUAL DE GESTIÓN Y LAS EVALUACIONES PARCIALES TRIMESTRALES DE LAS CONTRALORÍAS TERRITORIALES

Formulación de indicadores a partir de la gestión por procesos

Características de los indicadores

Cálculo de indicadores para construir el «índice AuditeCT»

Recolección de datos

Verificación de datos inconsistentes o faltantes

Datos inconsistentes

Datos faltantes

Cálculo de indicadores

Indicadores primarios calculados y las transformaciones procedentes

EVALUACIÓN PARCIAL TRIMESTRAL Y CERTIFICACIÓN ANUAL DE LAS CONTRALORÍAS TERRITORIALES: DE LO CUANTITATIVO A LO CUALITATIVO

AuditeCT aplicado a las evaluaciones parciales trimestrales

Tabla de valoración cualitativa del índice AuditeCT: el uso de quintiles como un mecanismo para la identificación de riesgos en la evaluación parcial trimestral

El uso de AuditeCT para la certificación anual de las contralorías territoriales

MÉTODO PARA EL CÁLCULO DEL VALOR CRÍTICO DE CERTIFICACIÓN

Método de cálculo del valor crítico de certificación: la ecuación fundamental de la certificación anual de las contralorías territoriales

Cálculo del valor crítico de certificación con datos de 2019 aplicable para la vigencia 2020

Referencias

ANEXO: FICHA DE INDICADORES PARA LA ESTIMACIÓN DEL AUDITECT

EQUIPO DE TRABAJO

INTRODUCCIÓN

Uno de los propósitos del Acto Legislativo 004 de 2019, por medio del cual se reforma el Régimen de Control Fiscal, es fortalecer las capacidades de las contralorías territoriales en materia de control fiscal, de manera que su gestión y resultados sean evaluados a través de indicadores por parte de la Auditoría General de la República.

Por tal razón, el objetivo de este documento es presentar la metodología para la Certificación Anual de Gestión y las Evaluaciones Parciales Trimestrales de las Contralorías Territoriales que debe realizar la Auditoría General de la República en el marco de lo dispuesto en los artículos 272 y 274 de la Constitución Política, modificados por los artículo 4o y 5o del Acto Legislativo 004 de 2019, respectivamente, y lo determinado en el artículo 30 del Decreto Ley 403 de 2020.

La metodología para la Certificación Anual de Gestión y las Evaluaciones Parciales Trimestrales de las Contralorías Territoriales se desarrolló bajo la siguiente estructura.

En primer lugar, se hace referencia a los «criterios diferenciados», que se basan en un método estadístico que se llama análisis jerárquico de conglomerados. Este método sirve para clasificar las contralorías territoriales a partir de características medibles. El objetivo del análisis jerárquico de conglomerados es construir grupos objetivos en los que las contralorías sean muy semejantes al interior pero muy diferentes entre un grupo y otro.

En segundo término, la metodología es una secuencia de pasos que permiten la recolección, tratamiento y análisis de datos para medir el desempeño de las contralorías territoriales. Estos pasos tienen como objetivo producir una medida objetiva que sirva de fundamento para realizar la evaluación parcial trimestral y la certificación anual de las contralorías territoriales. La metodología se basa en indicadores que se construyen a partir de datos que luego son usados para calcular el índice de desempeño integral de las contralorías territoriales.

A partir de los datos contenidos en los sistemas de Información de la Auditoría General de la República, se construyeron los indicadores que se consideraron relevantes para la medición del desempeño por procesos de las contralorías territoriales. A partir de unos indicadores base o primarios, se construyeron otros de segundo nivel o secundarios, los que a su vez permiten la medición por procesos, cuya ponderación nos lleva a lograr el índice de desempeño integral de las contralorías territoriales.

Posteriormente, se presenta la forma de usar el índice de desempeño en dos contextos. El primero corresponde a la evaluación parcial trimestral de las contralorías territoriales. El segundo hace referencia a la certificación anual de las contralorías territoriales.

Finalmente, se presentan en detalle los indicadores construidos y que soportan la metodología.

El proceso de evaluación a través de la aplicación de la presente metodología tiene como fin impulsar el mejoramiento continuo de la gestión y los resultados de las contralorías territoriales y, por ende, del control fiscal.

MARCO NORMATIVO

El artículo 274 de la Constitución Política, modificado por el artículo 5o del Acto Legislativo N 04 de 2019, por medio del cual se reforma el Régimen de Control Fiscal, señala que “La vigilancia de la gestión fiscal de la Contraloría General de la República y de todas las contralorías territoriales se ejercerá por el Auditor General de la República, elegido por el Consejo de Estado de terna enviada por la Corte Suprema de Justicia, siguiendo los principios de transparencia, publicidad, objetividad, participación ciudadana y equidad de género, para un periodo de cuatro años. (...)”.

Por su parte, el artículo 272 de la Constitución Política, modificado por el artículo 4o del Acto Legislativo N° 04 de 2019, establece que: “(...) La Auditoría General de la República realizará la certificación anual de las contralorías territoriales a partir de indicadores de gestión, la cual será el insumo para que la Contraloría General de la República intervenga administrativamente las contralorías territoriales y asuma competencias cuando se evidencie falta de objetividad y eficiencia. (...).”

Adicionalmente, el numeral 7 del artículo 17 del Decreto Ley 272 de 2000, establece como una de las funciones del Auditor General de la República “Certificar la gestión y resultados de las entidades sometidas a su vigilancia.”

El artículo 30 del Decreto Ley 403 de 2020, establece que: “(...) La Auditoría General de la República, en ejercicio de sus atribuciones constitucionales y legales de vigilancia y control fiscal, realizará la certificación anual de todas y cada una de las contralorías territoriales, a partir de la evaluación de indicadores de gestión que permitan medir y calificar las capacidades de estas para el cumplimiento objetivo y eficiente de sus funciones. Corresponde al Auditor General de la República fijar los indicadores que serán objeto de medición y calificación, atendiendo a variables de orden cualitativo y cuantitativo de la gestión y a los resultados de todas las contralorías territoriales del país. Para ello podrá establecer criterios diferenciados con miras a tener en cuenta las particularidades y ámbito de actuación de cada contraloría territorial. Una vez expedida la certificación anual, esta deberá ser remitida al Contralor General de la República dentro de los cinco (5) días siguientes para lo de sus competencias constitucionales y legales.”

Así mismo, el parágrafo primero del artículo 30 del Decreto Ley 403 de 2020, dispone que: “(...) La certificación debe expedirse dentro del primer trimestre siguiente a la finalización del plan general de auditorías respectivo” y así mismo, prevé que “Se practicarán evaluaciones parciales trimestrales, que servirán como insumo para que las contralorías territoriales adopten medidas tendientes a superar las falencias evidenciadas.”

El parágrafo segundo del mismo artículo 30 dispone que: “(...) La primera certificación anual se expedirá en el primer trimestre del año 2021”.

Tanto la certificación anual de gestión, como las evaluaciones parciales trimestrales, se soportarán en los resultados obtenidos en la medición de indicadores de gestión y resultados, conforme a los principios de la vigilancia y del control fiscal previstos en el artículo 3o del Decreto Ley 403 de 2020; y tendrán el propósito de conseguir un mejoramiento continuo en el cumplimiento objetivo y eficiente de las funciones constitucionales y legales a cargo de las contralorías territoriales.

Por lo anterior, la Auditoría General de la República adoptará mediante resolución orgánica la presente metodología, el procedimiento y los parámetros para la certificación anual de gestión y las evaluaciones parciales trimestrales de las Contralorías Territoriales.

CRITERIOS DIFERENCIADOS: EL USO DE INDICADORES DE GESTIÓN

El objetivo de esta sección es presentar el método con el cual el Auditor General de la República “(...) podrá establecer criterios diferenciados con miras a tener en cuenta las particularidades y ámbito de actuación de cada contraloría territorial. (...)” (Decreto Ley 403, art. 30).

La Auditora General de la República, en uso de la facultad potestativa decidió tener en cuenta los criterios diferenciados al momento de elaborar los indicadores de gestión. Dichos indicadores tienen la capacidad de medir las diferencias en las que opera cada una de las contralorías territoriales. Las particularidades del ámbito de actuación de cada órgano de control territorial han sido registradas a través del uso de indicadores que en su gran mayoría cuentan con un numerador y un denominador que miden la escala de la operación de cada contraloría.

En la mayoría de casos, se construyó un indicador con numerador y denominador; el numerador mide el desempeño en el proceso en cuestión, mientras que el denominador se constituye en el referente específico de actividades que deben ser ejecutadas en el proceso correspondiente. De esta manera, para cada contraloría territorial la proporción entre el numerador y el denominador permiten hacer una comparación a pesar de que operen en una escala distinta.

Por ejemplo, en términos matemáticos, si la contraloría A tiene un número total de 100 sujetos de vigilancia y control (denominador), de los cuales audita 10; y la contraloría B tiene 1.000 sujetos de vigilancia y control, de los cuales audita 100; entonces, el indicador para las dos contralorías arroja el mismo resultado de desempeño del 10%. Así, el contexto y el tamaño de las contralorías se hacen comparables en la medida en que el indicador mide la respectiva proporción. Este es el método escogido por la Auditoría General de la República para tener en cuenta las particularidades de cada contraloría, pero garantizando su comparación.

De esta manera, los criterios diferenciados se encuentran implícitos en los indicadores cuya estructura es una proporción en la que hay un numerador y un denominador; la AGR no compara en números absolutos las contralorías con capacidades disímiles. Esto es razonable porque las contralorías más grandes tienden a mostrar una mayor cantidad de actividades en cada uno de los procesos, lo cual debe ser tenido en cuenta por medio de la selección del denominador adecuado.

LA AGRUPACIÓN DE LAS CONTRALORÍAS TERRITORIALES

El objetivo de esta sección es presentar la agrupación de las contralorías territoriales con el fin de identificar el grupo de referencia al cual pertenece cada una. El grupo de referencia sirve para conocer las contralorías que son semejantes en sus características pero que pueden llegar a ser diferentes en su desempeño. La comparación se convierte en un instrumento de aprendizaje organizacional y la agrupación no afecta la medición de los indicadores de gestión, por lo tanto tampoco influye en el Índice AuditeCT.

El método de agrupación permite construir una alta homogeneidad «intra-grupo» y una alta heterogeneidad «inter-grupos». El punto de partida se basa en la selección de una lista corta de variables que describe algunas características claves de las contralorías territoriales, pero sobre las cuales los entes de control no tienen mayor incidencia. Esto quiere decir que las variables son “exógenas” y por lo tanto no son afectadas por la gestión de las contralorías territoriales.

La agrupación de las contralorías territoriales no influye en el Índice AuditeCT. Sin embargo, es una herramienta de gestión pública que permite identificar el grupo de referencia en el que se ubica cada contraloría. La ventaja de la agrupación es que facilita el aprendizaje por medio de la comparación entre contralorías semejantes. La semejanza significa en este contexto que hay variables de contexto y variables intrínsecas a varias contralorías que tienen una medida similar.

Las variables seleccionadas describen particularidades y ámbitos de actuación de las entidades para cada vigencia fiscal, y son las siguientes:

1. Número de sujetos: Describe el número de sujetos de vigilancia y control fiscal que deben ser vigilados por la contraloría territorial. Este es un dato reportado en los sistemas de información de la Auditoría General de la República.

2. Recursos propios de los sujetos vigilados por las contralorías territoriales: Esta variable se centra en los recursos de los sujetos vigilados que no provienen de transferencias del Sistema General de Participación y tampoco del Sistema Nacional de Regalías. Este es un dato reportado en los sistemas de información de la Auditoría General de la República.

3. Presupuesto de la contraloría territorial. Describe el presupuesto definitivo de cada contraloría territorial. Este es un dato reportado en los sistemas de información de la Auditoría General de la República.

4. Población: Mide el número de habitantes de la jurisdicción de la contraloría territorial. Este es un dato del DANE.

5. Banda ancha: Este es el índice de penetración de banda ancha, el cual es un indicador producido por el Ministerio de Tecnologías de la Información y las Comunicaciones. Este indicador mide el porcentaje de la población que tiene acceso a banda ancha y es una variable que describe la disponibilidad de conexión a internet de calidad para la contraloría territorial y para los habitantes. Es una variable proxy a la infraestructura de comunicaciones.

6. Planta autorizada de la contraloría territorial: Esta variable mide la capacidad de la contraloría territorial para cumplir sus funciones en la medida en que son los funcionarios de la contraloría territorial los que ejecutan los procesos. Este es un dato reportado en los sistemas de información de la Auditoría General de la República.

De esta manera, el proceso de clasificación es independiente del proceso para la Certificación Anual de Gestión y las Evaluaciones Parciales Trimestrales de las Contralorías Territoriales.

El método de análisis jerárquico de conglomerados aplicado a las contralorías territoriales funciona de la siguiente manera:

i) Se seleccionó un conjunto de variables que describen particularidades y ámbitos de actuación que pueden ser medidas objetivamente; ii) se realizó una primera agrupación bajo el siguiente principio: cada contraloría territorial es un grupo por sí mismo - este es el primer paso en el algoritmo de clasificación; iii) Se identificó la contraloría más parecida usando la distancia euclidiana entre las características de una contraloría y otra - este es un paso que se continúa hasta terminar las comparaciones posibles en cada nivel de agrupación; iv) Se identificaron las contralorías que podrían pertenecer a alguno de los grupos anteriores hasta aglomerar todas y cada una de las contralorías en los grupos en donde hay una mayor semejanza; v) Por último, se conformaron cuatro grupos de contralorías territoriales. El método usado se define como Algoritmo de agrupamiento jerárquico por amalgamiento completo, el cual es un proceso ascendente de agrupamiento de los datos (Rousseaw & Kaufman, 1990). El algoritmo se encuentra en la versión 2.0.8 del software estadístico R. (Maechler, Rousseaw, Struyf, Hubert, & Hornik, 2019).

Las contralorías territoriales deben cumplir con las mismas funciones constitucionales y legales, y desde el punto de vista legal la medición de desempeño debe ser comparable. Sin embargo, es importante identificar un grupo de referencia con el cual comparar el desempeño de las contralorías con el fin de facilitar la interpretación de los resultados; este grupo de referencia lo comprenden las contralorías semejantes.

El resultado de la clasificación de las contralorías territoriales permite identificar cuatro grupos, los cuales pueden ser referentes de desempeño. La utilidad de los grupos radica en que facilita la comparación entre contralorías territoriales y ello sirve para conocer buenas prácticas asociadas con las contralorías más parecidas. De esta manera, el alto desempeño relativo de ciertos órganos de control es la base para conocer experiencias exitosas de gestión pública en materia de control fiscal. La clasificación de las contralorías territoriales en grupos se actualizará anualmente con el fin de ajustar también los referentes de aprendizaje.

La interpretación de los indicadores de gestión se puede hacer de acuerdo con la agrupación de las contralorías. Esto significa que cada contraloría territorial podrá comparar su desempeño con todas las contralorías territoriales y también con su grupo de referencia, es decir, con aquellas contralorías con las que tiene mayor semejanza.

La clasificación de las contralorías territoriales se basa en un método estadístico que se llama análisis jerárquico de conglomerados. Este método sirve para clasificar las contralorías a partir de características medibles. La finalidad del análisis jerárquico de conglomerados es construir grupos objetivos en los que las contralorías sean muy semejantes al interior pero muy diferentes entre un grupo y otro.

METODOLOGÍA PARA LA CERTIFICACIÓN ANUAL DE GESTIÓN Y LAS EVALUACIONES PARCIALES TRIMESTRALES DE LAS CONTRALORÍAS TERRITORIALES

La metodología para la Certificación Anual de Gestión y las Evaluaciones Parciales Trimestrales de las Contralorías Territoriales es una secuencia de pasos que permiten la recolección, tratamiento y análisis de datos para medir el desempeño de las contralorías territoriales. Los pasos tienen como objetivo producir una medida objetiva que sirva de fundamento para realizar la evaluación trimestral parcial y la certificación anual de las contralorías territoriales. La metodología se basa en indicadores que se construyen a partir de datos que luego son usados para calcular el Índice de desempeño integral de las contralorías territoriales - AuditeCT.

Dicha sigla describe el siguiente concepto: Índice de desempeño integral de las contralorías territoriales, y es el número que de manera sintética describe el desempeño global de cada una de ellas. El índice AuditeCT será la base para la construcción de un modelo mental compartido sobre el significado del buen funcionamiento de las contralorías territoriales (Senge, 2006 [1990]).

A continuación se presentan los pasos de la metodología. Cada uno de los pasos sirve para construir una representación común sobre procesos e indicadores clave que explican el desempeño de las contralorías territoriales:

Formulación de indicadores a partir de la gestión por procesos

El primer paso en la metodología fue la construcción de un conjunto de indicadores, que fueron diseñados a partir de las siguientes consideraciones:

i) cada indicador mide un aspecto relevante dentro de un proceso administrativo o misional; ii) el indicador podrá estar asociado a las causales de intervención administrativa del artículo 34 del Decreto Ley 403 de 2020; iii) cada indicador se construyó a partir de información rendida por las contralorías territoriales en los sistemas de información de la Auditoría General de la República, cuya exactitud y veracidad es de plena responsabilidad de las contralorías territoriales; iv) cada indicador es capaz de inducir un comportamiento deseable en términos constitucionales, legales y de gerencia pública en las contralorías territoriales; v) cada indicador tiene una expresión funcional sencilla, es decir una fórmula matemática simple, que facilita la medición del desempeño de las contralorías territoriales.

El punto de partida de la metodología fue identificar los procesos que serán objeto de medición. A cada uno de los procesos le corresponde al menos un indicador primario, es decir, una medición de desempeño del proceso a partir de una fuente primaria. A continuación se describen los procesos y su utilidad para la evaluación:

1. Proceso contable: Permite monitorear la gestión y publicidad de los estados financieros y contables, conforme las normas expedidas por la Contaduría General de la Nación.

2. Proceso presupuestal: Permite monitorear la calidad del proceso de planeación y ejecución del presupuesto de la contraloría territorial.

3. Proceso de contratación: Permite monitorear la publicidad y transparencia de la contratación que realiza la contraloría territorial.

4. Proceso de participación ciudadana: Permite monitorear la capacidad de la contraloría territorial para responder de manera oportuna las peticiones ciudadanas, así como para promover la participación ciudadana.

5. Proceso auditor: Permite monitorear la capacidad de la contraloría territorial para cumplir con su función de vigilancia y control fiscal a través de la ejecución de su plan general de auditorías.

6. Indagaciones preliminares: Permite monitorear la capacidad de la contraloría territorial para gestionar las indagaciones preliminares.

7. Proceso de responsabilidad fiscal: Permite monitorear la capacidad de la contraloría territorial para gestionar los procesos de responsabilidad fiscal, ya sean estos ordinarios o verbales, orientados al resarcimiento del daño al patrimonio público.

8. Proceso administrativo sancionatorio fiscal (PASF): Permite monitorear la capacidad de la contraloría territorial para gestionar los PASF.

9. Proceso de jurisdicción coactiva: Permite monitorear la capacidad de la contraloría territorial para ejercer el cobro coactivo, con el fin de recaudar las deudas fiscales, derivadas de los fallos con responsabilidad fiscal, las sanciones fiscales y las garantías asociadas a dichos fallos.

10. Plan de mejoramiento: Permite monitorear la capacidad de la contraloría territorial para cumplir las acciones correctivas propuestas en los planes de mejoramiento presentados a la Auditoría General de la República.

11. Beneficios del control fiscal: Permite monitorear la capacidad de la contraloría territorial para generar beneficios cuantificables del control fiscal.

12. Control interno: Permite monitorear el avance del sistema de control interno y la capacidad de evaluación de la oficina de control interno de la contraloría territorial.

13. Proceso macrofiscal (informes): Permite monitorear la capacidad de la contraloría territorial para elaborar y comunicar los informes macrofiscales que constitucionalmente debe producir.

14. Planeación estratégica: Permite monitorear el avance en la ejecución de la planeación estratégica de la contraloría territorial.

15. Metodologías SINACOF: Permite monitorear la observancia de las directrices de armonización, unificación y estandarización relacionadas con la Guía de Auditoría Territorial - GAT por parte de la contraloría territorial.

A cada uno de los procesos descritos le corresponde al menos un indicador que debe ser calculado. Los indicadores construidos a partir de los datos reportados en los sistemas de información de la Auditoría General de la República y otras fuentes se denominan indicadores primarios. Los indicadores que se construyen a partir de los indicadores primarios se denominan indicadores secundarios. El desempeño de cada proceso se calcula a partir de los indicadores secundarios. Por último, se encuentra el índice AuditeCT, el cual mide el desempeño integral de las contralorías territoriales y es el resultado de la suma ponderada de la medición de desempeño de los procesos de cada contraloría territorial.

Características de los indicadores

Los indicadores fueron construidos con el fin de medir y calificar las capacidades de las contralorías territoriales para el cumplimiento objetivo y eficiente de sus funciones, permitiendo a la vez una evaluación objetiva de su gestión y resultados por parte de la Auditoría General de la República.

Los resultados de la medición de los indicadores son útiles para las contralorías territoriales porque le permiten contar con evidencia pertinente para mejorar su gestión.

De igual manera, los indicadores son útiles para la Contraloría General de la República porque le permiten fundamentar la decisión de intervención administrativa de las contralorías territoriales a partir de evidencia empírica. Adicionalmente, la ciudadanía puede usar los indicadores para conocer el desempeño del órgano de control fiscal de su jurisdicción.

En resumen, los indicadores son el método más objetivo para evaluar y hacer seguimiento a la ejecución de las funciones de entidades públicas que deben cumplir con funciones constitucionales y legales como es el caso de las contralorías territoriales (Departamento Nacional de Planeación, 2018).

De acuerdo con la experiencia del Departamento Nacional de Planeación y el Departamento Administrativo de la Función Pública en materia de seguimiento y evaluación, los indicadores de la presente metodología deben cumplir con las siguientes características:

1. Claridad: El indicador debe ser fácil de entender y debe expresar con sencillez la característica que será medida.

2. Relevancia: El indicador debe hacer referencia directa al objeto de medición.

3. Economía: El indicador debe ser fácil de calcular en términos de asignación de recursos tecnológicos y humanos. El costo de recolectar los datos y el procesamiento de los datos debe ser bajo.

4. Replicable: El indicador se puede estimar por cualquier actor interesado a partir de los datos disponibles. El resultado del indicador es igual cuando lo estima la AGR o cuando lo estima cualquier otra actor interesado.

5. Sensible: El indicador debe ser capaz de medir los cambios a lo largo del tiempo.

Los indicadores fueron definidos con el fin de identificar oportunidades de mejora. Siguiendo las recomendaciones del DAFP, medirán aquello que es significativo (Departamento Administrativo de la Función Pública, 2015). La medición es el primer paso en el aumento de las capacidades de las contralorías territoriales en procura de un aumento de su efectividad y legitimidad ante la sociedad local.

Cálculo de indicadores para construir el «índice AuditeCT»

En esta sección se presenta el uso de los indicadores primarios y el modo en que éstos se combinan para formar indicadores secundarios, y luego como los secundarios se agrupan para construir los indicadores que miden el desempeño de los procesos de las contralorías territoriales.

Por último, se describe el modo en que el cálculo de desempeño de cada proceso se suma de manera ponderada para producir el índice AuditeCT, que es el número que mide el desempeño integral de cada una de las contralorías territoriales. El punto de partida son los indicadores de gestión de cada uno de los procesos de las contralorías y su cálculo inicial en calidad de indicadores primarios. Los siguientes son los pasos para construir el índice AuditeCT:

1. Se calcula el valor para cada uno de los indicadores primarios. Los indicadores primarios describen con mayor detalle la operación por procesos de la contraloría territorial. La lista de éstos contiene N indicadores y cada uno es descrito de manera detallada. [Ver Anexo Ficha de indicadores]. El punto de partida es que todos los indicadores primarios serán puestos en la escala [0,1]. La ventaja de usar esta escala es que todos los indicadores e índices calculados tendrán también un valor en el intervalo [0,1]. La interpretación del índice AuditeCT es un puntaje entre cero y 100.

2. Se calcula el valor de cada uno de los indicadores secundarios a partir de los primarios. Se conforma la lista de indicadores secundarios con M indicadores y se espera que M sea mucho menor que N, es decir que M << N. Los indicadores secundarios de un Proceso X son aquellos que describen un mismo Proceso X de la contraloría territorial y deben ser agregados por medio de una ponderación de indicadores primarios para describir una dimensión del Proceso X. Por ejemplo, si el indicador primario A, el indicador primario B y el indicador primario C son los indicadores que describen una dimensión del Proceso X y los indicadores primarios D y E describen otra parte del Proceso X; entonces se pueden construir dos indicadores secundarios para el proceso X de la siguiente manera:

Indicador secundario 1 del proceso  en donde los ponderadores son únicos para el Indicador secundario 1 del proceso X y se cumple que

Indicador secundario 2 del proceso  en donde los ponderadores son únicos para el Indicador secundario 1 del proceso X y se cumple que

Una vez calculados los indicadores secundarios para el proceso X se procede a calcular el desempeño del Proceso X mediante la siguiente expresión:

Desempeño del proceso X = (3dndicador_secundario _i_del_proceso_X +  Indicador_secundario _2_del_proceso_X

Este es un ejemplo del modo en que dos indicadores secundarios se agregan para constituir el desempeño del proceso. Sin embargo, un proceso se puede caracterizar por dos o más indicadores secundarios.

3. Se calcula el desempeño de cada proceso. Para cada Proceso X se procede a calcular su indicador de desempeño mediante la siguiente expresión general (“k” en este caso representa el número de procesos para los que hay que calcular su desempeño a partir de los indicadores secundarios; para la metodología son 14 los procesos clave que deben ser medidos):

En donde el sub índice j hace referencia al número de indicadores secundarios del proceso k, el cual puede variar entre uno y J. El super índice k en la sumatoria hace referencia a que los ponderadores  son únicos para cada uno de los indicadores secundarios del proceso K.

4. Se calcula el indice AuditeCT. Por último, se procede a estimar el índice AuditeCT mediante la suma ponderada del desempeño de los procesos. La siguiente es la expresión que permite estimar el índice AuditeCT en donde k es el sub índice que recorre los procesos claves que describen el desempeño de la contraloría territorial (en este caso son 14 procesos):

Al usar el índice AuditeCT y los índices de desempeño de cada proceso se puede: i) medir el desempeño integral de las contralorías territoriales por medio de indicadores de gestión y resultados, de acuerdo con el mandato constitucional y legal; ii) medir el desempeño integral por medio del índice AuditeCT de las contralorías territoriales de manera trimestral; iii) construir una medida en la que hay rangos en donde se puede medir - después de establecer una convención - valores bajos, medios o altos, a partir del índice AuditeCT.

En el Anexo Fichas de los indicadores se presenta la descripción de cada uno de los indicadores usados para la evaluación parcial trimestral y la certificación de la gestión anual de las contralorías territoriales. En la siguiente ilustración se muestra la manera en que los datos se articulan con el índice AuditeCT, con la evaluación trimestral y la certificación anual de las CT.

Pirámide de indicadores para la construcción del índice AuditeCT para la evaluación parcial trimestral y la certificación anual de las contralorías territoriales

Recolección de datos

Las fórmulas anteriores se estiman a partir de datos. Se debe llamar la atención sobre la importancia de las fuentes y la calidad de los datos para cada uno de los indicadores. La principal fuente de datos para la construcción de los indicadores de gestión y resultados para la metodología es la que ha sido rendida en los formatos de los sistemas de información de la Auditoría General de la República.

El reporte de los datos en los sistemas de información de la Auditoría General de la República ha sido contemplado como una acción crítica para el funcionamiento del nuevo control fiscal en Colombia. Es por esa razón que el reporte de información inexacta o su no reporte han sido definidos en el Decreto Ley 403 de 2020 como conductas sancionables:

Decreto Ley 403 de 2020. Título IX. Proceso administrativo sancionatorio fiscal. Artículo 81. De las conductas sancionables. «Serán sancionables las siguientes conductas: [...] f) Incurrir en errores relevantes que generen glosas en la revisión de las cuentas y que afecten el ejercicio de la vigilancia y el control fiscal. g) No rendir o presentar las cuentas e informes exigidos ordinariamente, o no hacerlo en la forma y oportunidad establecidas por los órganos de control fiscal en desarrollo de sus competencias. h) Omitir o no suministrar oportunamente las informaciones solicitadas por los órganos de control incluyendo aquellas requeridas en el procedimiento de cobro coactivo. i) Reportar o registrar datos o informaciones inexactas, en las plataformas, bases de datos o sistemas de información de los órganos de control o aquellos que contribuyan a la vigilancia y al control fiscal. [...] n) No permitir el acceso a la información en tiempo real por parte de la Contraloría General de la República y demás órganos de control fiscal en las condiciones previstas en la ley, o reportar o registrar datos e informaciones inexactas, en las plataformas, bases de datos o sistemas de información.»

Por lo tanto, los formatos de los sistemas de información de la AGR deben ser diligenciados de manera rigurosa y fidedigna por parte de las contralorías territoriales en el proceso de rendición de cuentas. Los datos, tal como sean suministrados, serán utilizados para la evaluación trimestral parcial y para la certificación de la gestión anual. Así, de la exactitud y veracidad de los datos rendidos dependerán los resultados de la evaluación.

Hay otras fuentes de datos como el SECOP y el DANE. En este caso se procede a descargar los datos que permiten construir el indicador. Por ejemplo, los documentos de los contratos que las contralorías territoriales publican en el SECOP deben coincidir con los documentos de los contratos que las mismas entidades deben rendir en el SIA Observa de la Auditoría General de la República. De igual manera, el número de habitantes de un departamento, distrito o municipio es una cifra que se puede obtener del DANE y es útil cuando se mide la cobertura de la promoción y la participación ciudadana. Una fuente adicional para la construcción de algunos indicadores son los informes que legalmente debe publicar cada contraloría territorial en su página web.

Verificación de datos inconsistentes o faltantes

En esta sección se presenta el método para identificar datos inconsistentes y/o faltantes. Un dato inconsistente afecta la evaluación porque distorsiona la escala de los datos y puede crear la ilusión de que hay unos indicadores de productividad extraordinariamente altos. Por otra parte, un dato faltante puede impedir la medición de un indicador y de esta manera causar una disminución en el puntaje de la contraloría territorial.

Datos inconsistentes

En caso que dentro de las cuentas rendidas por una contraloría territorial se evidencien datos altamente atípicos o extraordinarios, que a juicio del analista puedan proceder de un error en la rendición de la cuenta, se podrá solicitar a la contraloría territorial, por única vez, por medio de los mecanismos institucionales adecuados, aclaración de dichos registros dentro del plazo estipulado para ello. Una vez cumplido el plazo establecido para rectificar los registros solicitados, se utilizarán los datos aclarados; en caso de no obtener respuesta dentro del plazo otorgado, se tendrá como no rendido dicho dato, y, en consecuencia, ello afectará de manera negativa su evaluación. En ningún caso la contraloría territorial se exime de su responsabilidad frente a la exactitud y veracidad de los datos rendidos.

Datos faltantes

Cuando una contraloría territorial no presente dentro de la rendición de la cuenta datos suficientes para calcular un indicador, se le solicitará la correspondiente aclaración, que deberá otorgar dentro del plazo estipulado para ello. Una vez cumplido el plazo, la medición se llevará a cabo de la siguiente manera:

Caso 1 La contraloría territorial ratifica la no necesidad de rendir el dato faltante: para la contraloría en cuestión, se calcula el indicador de segundo nivel, el indicador de proceso y la valoración agregada, según sea el caso, de manera que los indicadores para los que se presentan datos ocupen, mediante expansión lineal de sus ponderaciones, el espacio que el indicador faltante ocupa en la evaluación. Un ejemplo de ello es el caso de las contralorías territoriales que no auditan sujetos de control responsables de la ejecución de un presupuesto ambiental. En este caso el porcentaje correspondiente a dicho indicador será distribuido entre los otros indicadores de segundo nivel que sí debe reportar dicha contraloría.

Caso 2 La contraloría territorial suministra la información faltante dentro del plazo establecido: el dato rendido por la contraloría territorial es incluido dentro de los datos usados para la generación de la evaluación.

Caso 3 La contraloría territorial no rinde dicha información dentro del plazo establecido: se toma el indicador faltante con una valoración de cero y se procede a generar la valoración según lo definido dentro de la metodología. Ello afectará de manera negativa su evaluación.

El deber de rendir la información es una obligación legal y, por lo tanto, los casos descritos arriba se aplicarán sin perjuicio de las consecuencias jurídicas que pueda acarrear la no rendición de la cuenta.

Cálculo de indicadores

En esta sección se presentan los métodos para calcular los indicadores, los cuales serán utilizados con el fin de construir indicadores e índices que midan el desempeño de los procesos, cuyo puntaje pueda ser leído en la escala [0,1].

Indicadores primarios calculados y las transformaciones procedentes

Una vez se hayan calculado los indicadores primarios, se hace necesario ajustar todos sus valores a una misma métrica y un mismo sentido, de manera que puedan ser agregados en indicadores secundarios. En este caso todos los indicadores deberán ser ajustados de manera que cumplan con dos condiciones 1) Rango: su rango (valores máximos y mínimos) se encuentre entre cero y cien [0, 100]; y 2) Sentido: la valoración del indicador mejora en la medida que el valor es mayor (100 es mejor que 0). Se dice que un indicador que cumpla con estas dos condiciones es un indicador bien comportado. Para realizar los ajustes necesarios, se le aplica a cada indicador calculado varias, una o ninguna trasformación, según sea el caso particular:

Caso 1 El rango del indicador primario calculado se encuentra dentro del intervalo [0, 100] y su sentido es el adecuado (la valoración mejora de cero a cien): el indicador se entiende como bien comportado y se utiliza sin aplicarle ninguna transformación:

í

Caso 2 El rango del indicador primario calculado se encuentra dentro del intervalo [0, 100] pero su sentido no es el adecuado (la valoración mejora de cien a cero): el indicador bien comportado se calcula restándole a 100 el indicador calculado:

Caso 3 El sentido del indicador es el adecuado (la valoración mejora de cero a cien) pero el rango no se encuentra en el intervalo [0, 100]: Este caso se presenta cuando el indicador tiene un rango que no puede ser interpretado fácilmente como un porcentaje. A manera de ejemplo, supongamos un indicador asociado al beneficio del control fiscal, el cual se construye a partir de la división de la suma del valor del beneficio cuantificable del control fiscal sobre el número de funcionarios de la contraloría territorial. En una situación así, el resultado no es un porcentaje y se debe proceder a construir una nueva escala.

Ahora bien, dependiendo de las diferencias entre el valor máximo y el valor mínimo se pueden usar dos clases de transformación de escala; una lineal y otra usando logaritmos. La primera corresponde al uso de la transformación usada por el Departamento Nacional de Planeación y el Programa de Naciones Unidas para el Desarrollo que permite construir índices en los que se usan indicadores que tienen diferentes unidades de medición, pero en los cuales no hay grandes diferencias de escala:

Por el contrario, cuando hay una gran diferencia en la escala es conveniente usar la misma transformación pero aplicando logaritmos (Departamento Nacional de Planeación, 2020). La función logaritmo - cualquiera que sea la base - tiene la ventaja de que transforma la escala cuando hay diferencias muy grandes entre el valor mínimo y el valor máximo del indicador. Un ejemplo del concepto “gran diferencia” se presenta cuando el valor mínimo es de 150 unidades y el valor máximo alcanza valores de 100.000.000 millones. La transformación tiene la siguiente expresión algebraica:

Sin embargo, las dos transformaciones previas (lineal y logarítmica) implican asignar un valor de cero al valor mínimo de referencia incluso cuando hay un valor de desempeño diferente de cero; esto se explica por la construcción algebraica de la nueva escala. Es por esa razón que, a juicio de la Auditoría General de la República, se podrá aplicar una transformación que sólo contemple el valor máximo, de tal manera que se obtenga un valor mínimo de referencia en la nueva escala diferente de cero, por medio de la siguiente expresión:

La aplicación de la transformación logarítmica se puede hacer en base 10 o en base “e” En cualquier caso se ajustará el valor mínimo cuando sea cero, debido a que el logaritmo en cualquier base no está definido. La transformación aceptada por las comunidades de evaluación y de análisis económico son las siguientes: si x=0, entonces se le sumará la unidad con lo cual x'=x+i, y a este valor se le aplicará la transformación logarítmica, con lo cual se cumple que xi"= log(x+i) para todo xi.

Caso 4 Ni el sentido ni el rango son los adecuados, el indicador no se encuentra dentro del intervalo [0, 100] y su valoración mejora en la medida en que el indicador es menor: se aplican en orden la transformación del caso 3 y luego la del caso 2.

Caso 5 Existe un caso particular de indicadores calculados cuyo comportamiento es adecuado con la excepción de que, dada la naturaleza de éstos, pueden presentar datos atípicos por encima de 100 y en cuyo caso no debería aplicarse ninguna transformación al conjunto de datos. En este caso, los valores calculados por encima de cien son acotados y se consideran iguales a cien:

En resumen, el cálculo de indicadores se realiza para que a partir de los datos e indicadores iniciales se puedan construir indicadores en la escala [0,1]. Al hacer esto se puede producir un puntaje global en la escala [0,1] cuando se agregan todos los indicadores de desempeño por proceso de cada una de las contralorías territoriales; este es el índice AuditeCT.

EVALUACIÓN PARCIAL TRIMESTRAL Y CERTIFICACIÓN ANUAL DE LAS CONTRALORÍAS TERRITORIALES: DE LO CUANTITATIVO A LO CUALITATIVO

El objetivo de esta sección es presentar dos formas de usar el índice AuditeCT en dos contextos. El primero corresponde a la evaluación parcial trimestral de las contralorías territoriales. El segundo hace referencia a la certificación anual de las contralorías territoriales.

Para ello el puntaje AuditeCT se usa para construir cinco grupos con igual número de contralorías territoriales y ordenados de menor a mayor; estos grupos se conocen como quintiles. Las contralorías con menor puntaje - es decir las que quedan en el primer quintil - se encuentran en mayor riesgo de incumplimiento de sus funciones constitucionales y legales en comparación con las contralorías del quintil más alto. Esta forma de usar el puntaje del AuditeCT se ajusta al mandato del parágrafo 1 del artículo 30 del Decreto Ley 403 de 2020, en el sentido de que las evaluaciones parciales trimestrales servirán como insumo para que las contralorías territoriales adopten medidas tendientes a superar las falencias evidenciadas. De esta manera la certificación anual de las contralorías no será un resultado sorpresivo sino que guarda relación con las evaluaciones trimestrales previas.

En el segundo contexto, el índice AuditeCT brinda información sobre la certificación de las contralorías territoriales. La certificación se realiza a partir de un puntaje crítico de certificación anual de las contralorías Pcert¡ícac¡ón_anual. Dicho valor será comparado con el índice AuditeCT. La regla de decisión es la siguiente:

A. Si el índice AuditeCT para la contraloría X es mayor que el puntaje crítico P_{certificaciór_anual} entonces la contraloría X será certificada.

B. Si el índice AuditeCT para la contraloría X es menor que el puntaje crítico P_{certificación_anual} entonces la contraloría X no será certificada.

El método se sustenta en la construcción de un índice que mide el desempeño integral de las contralorías territoriales a partir de datos objetivos que han sido rendidos e información pública consultada en bases de datos del DANE, el SECOP o las páginas web de las propias contralorías.

El valor P_{certificación_anual} será definido por la Auditoría General de la República mediante acto administrativo, previamente a la aplicación del método de evaluación integral de las contralorías territoriales. Tendrá vocación de mejoramiento continuo con el fin de elevar los niveles de gestión y resultados, así como el aprendizaje organizacional en las contralorías territoriales.

AuditeCT aplicado a las evaluaciones parciales trimestrales

El Índice AuditeCT se puede interpretar como una medida del nivel de riesgo que enfrentan los órganos de control territorial en relación con su desempeño integral. Para identificar el nivel de riesgo en la ejecución cabal de sus procesos se usarán los quintiles estadísticos como un procedimiento de clasificación de las contralorías en cinco grupos.

En cada grupo hay igual número de órganos de control y se ordenan a partir del valor del índice AuditeCT aplicando la siguiente regla estadística de aceptación universal: en el primer quintil se ubican las contralorías territoriales con más bajo AuditeCT y en el quinto las de más alto AuditeCT.

El razonamiento que conecta la dimensión cuantitativa con la cualitativa asociada al riesgo se basa en el siguiente hecho: si una contraloría se ubica en el quintil más bajo entonces tiene un mayor riesgo en el cumplimiento de su misión constitucional y legal y por lo tanto enfrenta un mayor riesgo de no ser certificada. En la siguiente tabla se muestran los niveles de riesgo:

Tabla de valoración cualitativa del índice AuditeCT: el uso de quintiles como un mecanismo para la identificación de riesgos en la evaluación parcial trimestral

El uso de los quintiles tiene la ventaja de que siempre identificará las contralorías territoriales con menor desempeño relativo. Esta es una ventaja porque facilita el proceso de acompañamiento y diseño de los planes de mejoramiento. Además, cuando la misma técnica estadística se usa para cada uno de los indicadores primarios se puede identificar con mayor precisión los procesos y las variables que deben ser objeto de acciones correctivas por parte del contralor territorial.

El uso de AuditeCT para la certificación anual de las contralorías territoriales

El índice AuditeCT es un número que puede tomar valores entre o y 100 puntos. La certificación sólo se puede producir cuando el valor del índice AuditeCT es superior al puntaje crítico de certificación anual P_cert¡ficac¡ón_anual. La siguiente es la regla de decisión:

La certificación es un resultado dicotómico, es decir, la certificación sólo admite dos estados: la certificación o la no certificación. Y ésta es el insumo clave para que la Contraloría General de la República disponga lo pertinente con respecto a la intervención administrativa en las contralorías territoriales.

MÉTODO PARA EL CÁLCULO DEL VALOR CRÍTICO DE CERTIFICACIÓN

El objetivo de esta sección es explicar el método para el cálculo del valor crítico de certificación de las contralorías territoriales. El método se basa en un conjunto de hechos estadísticos y organizacionales orientados al mejoramiento continuo y que hacen parte del conocimiento genérico de la gestión de la calidad promovidas por la International Standard Organization (ISO) y el Instituto Colombiano de Normas Técnicas y Certificación (ICONTEC):

1. El Índice AuditeCT mide el desempeño integral de las contralorías territoriales, lo cual es resultado de la medición de un conjunto de indicadores diseñados por la Auditoría General de la República.

2. El desempeño de las contralorías territoriales se mide por medio del Índice AuditeCT y es resultado de la medición de los indicadores de desempeño diseñados por la Auditoría General de la República.

3. Índice AuditeCT es un puntaje que oscila entre 0 y 100. El valor del Índice resulta de un conjunto de operaciones algebraicas en las que se hace una suma ponderada de los indicadores diseñados por la Auditoría General de la República.

4. El Índice AuditeCT se grafica con el fin de conocer su distribución por medio de un histo- grama, el cual es una herramienta básica de la estadística descriptiva. Este es un ejercicio de visualización de datos que facilita la comprensión de los resultados del Índice AuditeCT.

5. El Índice AuditeCT permite identificar el alto y bajo desempeño a partir del histograma. El alto o bajo desempeño de las contralorías territoriales tiene una distribución particular de frecuencias.

6. El valor P_{certificación_anual} permite discriminar las contralorías territoriales entre aquellas que deben ser certificadas y las que no deben ser certificadas. La letra P denota el concepto de “puntaje”.

7. Se puede graficar en el histograma y permite identificar el número de contralorías territoriales que serían certificadas y no certificadas a partir del uso del valor P_{certificación_anual} en el histograma; las contralorías cuyo Índice AuditeCT es menor al valor P_{certificación_anual} y las contralorías cuyo Índice AuditeCT es mayor al valor P_{certificación_anual}. Las primeras serán NO certificadas y las segundas SÍ serán certificadas.

8. El proceso de certificación facilita el aprendizaje continuo de las contralorías territoriales a partir del Índice AuditeCT, para el cumplimiento objetivo y eficiente de sus funciones.

9. Después de aplicar los indicadores y calcular el Índice AuditeCT, sus resultados se pueden graficar por medio de un histograma. A título de ejemplo, a partir de información rendida en 2019 en los sistemas de información de la Auditoría General de la República, si el promedio de Índice AuditeCT es de 58,83 con una desviación típica de 6,84 puntos la gráfica es la siguiente:

10. El comportamiento del Índice AuditeCT tiende a comportarse normalmente. Dicho comportamiento se puede verificar mediante la aplicación de una prueba de bondad de ajuste como la Kolmogorov-Smirnov.

Por esa razón, al Índice AuditeCT se le puede aplicar el proceso de normalización  Z con el fin de aplicar las propiedades de la Normal (0,1).

Nota: El proceso de transformación del Índice AuditeCT se hace a partir de la aplicación de la normalización de la variable con el fin de aprovechar las propiedades de la normal N(0,1). La transformación lo que hace es restar la media a cada valor del AuditeCT y luego se divide por la desviación típica de la distribución original del Índice AuditeCT.

11. El valor P_{certificación_anual} - en tanto construcción teórica dentro de la metodología de certificación - se puede observar en la gráfica del Índice AuditeCT normalizado. El valor de certificación que allí se grafica es con fines pedagógicos:

12. A partir de este ejercicio empírico, el número de contralorías No certificadas y el número de contralorías certificadas queda determinado por su posición en relación con el valor P_{certificación_anual} señalado por la línea de corte.

13. Es razonable afirmar que el bajo desempeño relativo de las contralorías territoriales se puede describir en términos de la distribución normal estándar, de tal manera que los valores bajos se puedan definir a partir de la probabilidad de su ocurrencia en función del área bajo la curva de la campana de Gauss.

Fuente: Explained: Sigma. How do you know when a new finding is significant? The sigma value can tell you – but watch out for dead fish. David L. Chandler, MIT News Office. February 9, 2012. Esta es una gráfica que sirve para ilustrar áreas en su condición de probabilidad.

14. El valor P_{certificación_anual} puede ser definido en términos de la distancia de los resultados frente a la media y de esta manera se puede construir un indicador estadísticamente objetivo sobre aquello que se puede definir como un bajo desempeño. Así, a partir de la distribución normal se identifica la probabilidad de estar por debajo o por encima del valor crítico de certificación.

15. En la siguiente gráfica se observa la probabilidad de tener un valor de Z en el intervalo (3,3) y con ello se puede calcular el valor de un bajo desempeño a partir de un AuditeCT normalizado.

Nota: Los valores de la distribución se obtienen de Microsoft Excel a partir de la función Z la cual se encuentra en el inventario de funciones del programa; antes del desarrollo de la computación moderna se usaban tablas para estimar el área bajo la curva. Los valores debajo de la curva Normal se calculan mediante el uso de métodos numéricos en donde se hace una aproximación por medio de sumas de Riemman porque la integral correspondiente no se puede estimar de manera analítica.

16. La distribución acumulada que permite hallar un valor de AuditeCT mayor que Z se puede resumir en una tabla en la que aparece el porcentaje de contralorías territoriales que tendrian unbajo desempeño tal como sigue:

17. Por lo tanto, se puede considerar que un valor de bajo desempeño se puede ubicar a partir de © veces la media  Así, al aplicar la transformación Z del Índice AuditeCT se llega a un valor crítico de certificación mediante la siguiente expresión: P_{certificación_anual}=  si se usa el valor promedio de AuditeCT =58,83; una desviación típica 0=6,84; y un =1, con lo cual el resultado del Valor crítico de certificación asciende a 51,99 puntos. De manera semejante, si el valor crítico de certificación utiliza un parámetro =1,5 entonces el valor crítico de certificación disminuye hasta un 48,57 puntos. Al aumentar el valor de  se hace más bajo el valor crítico de certificación. Es altamente deseable usar un  en calidad de parámetro reconocido de la distribución normal; uno de esos puntos es x=  ± o porque es el punto de inflexión de la distribución normal

Método de cálculo del valor crítico de certificación: la ecuación fundamental de la certificación anual de las contralorías territoriales

Para calcular el valor critico de certificación P_{certificación_anual} se aplicara la ecuacion fundamental de la certificación anual de las contralorias territoriales:

La ecuación fundamental de la certificación anual de las contralorías territoriales se compone de los siguientes elementos y consideraciones:

1.  es el promedio del Índice AuditeCT de la vigencia anterior.

2.  es la desviación típica de la distribución de frecuencias del Índice AuditeCT de la vigencia anterior y  es el número de veces en que debe ser ampliado el intervalo asociado a la desviación típica.

3.  es un parámetro característico de la distribución normal N ( p, o).

4. El desempeño de una contraloría territorial es relativo al desempeño del conjunto de las contralorías, lo cual es consecuencia de lo siguiente: el cálculo de un gran número de indicadores se estima a partir de un proceso de transformación de escala, en donde el valor más alto obtiene 100 puntos y el valor más bajo cero puntos.

5. El valor crítico de certificación sólo se puede estimar después de calcular el valor del índice AuditeCT para cada una de las contralorías territoriales.

6. Bajo el supuesto de que el Índice AuditeCT se distribuye normalmente y ©=1, entonces aproximadamente el 84% de las contralorías territoriales tienen un AuditeCT superior al valor crítico, con lo cual se confirma la intención de procurar el aprendizaje organizacional a partir de una evaluación justa.

7. El valor crítico de certificación será establecido de manera ex ante, a partir del puntaje de certificación del año anterior, con el fin de contar con un referente previo de desempeño relativo.

8. En cualquier caso, cuando el puntaje del Índice AuditeCT sea igual o superior a 70 puntos la contraloría territorial será certificada, sin importar el punto de corte aplicable para la vigencia correspondiente.

Cálculo del valor crítico de certificación con datos de 2019 aplicable para la vigencia 2020

Si se usan los valores del AuditeCT correspondiente a 2019 y se aplica un valor Pcertificación_anual de 60 puntos, se obtiene como resultado un número de 41 contralorías territoriales no certificadas (60 puntos es un valor de referencia y es sólo un ejemplo que puede ser aceptado por convención). De acuerdo con las estimaciones de la Oficina de Estudios Especiales y Apoyo Técnico de la Auditoría General de la República, hay una alta sensibilidad de la certificación frente al valor Pcertificación_anual tal como se observa en la siguiente tabla de sensibilidad:

Así, la gráfica de sensibilidad del número de contralorías territoriales NO certificadas en relación con el valor Pcert¡ficaci¿n_anua¡ entrega una información acerca del posible comportamiento del número de contralorías territoriales que NO serían certificadas en función del Pcertificación_anual para el primer ejercicio de certificación. Estos resultados son relevantes en relación con el impacto del ejercicio porque un puntaje convencionalmente modesto en la escala [0,100] - es decir 60 puntos - tiene como consecuencia la no certificación de la mayoría de las contralorías territoriales. Por lo anterior, es conveniente fijar el primer valor crítico de certificación en 50 puntos, lo que guarda coherencia con lo calculado en el numeral 17 del capítulo “MÉTODO PARA EL CÁLCULO DEL VALOR CRÍTICO DE CERTIFICACIÓN”.

REFERENCIAS

Auditoría General de la República. (2015). Manual de Calidad. Versión 10. Bogotá: Auditoría General de la República.

Departamento Administrativo de la Función Pública. (2015). Guía para la construcción y análisis de indicadores de gestión. Bogotá: Departamento Administrativo de la Función Pública.

Departamento Nacional de Planeación. (2018). Guía para la construcción y análisis de indicadores. Bogotá: Departamento Nacional de Planeación.

Departamento Nacional de Planeación. (2020). Guía orientaciones para realizar la medición del desempeño de las entidades territoriales, vigencia 2019. Bogotá: Departamento Nacional de Planeación.

Maechler, M., Rousseaw, P., Struyf, A., Hubert, M., & Hornik, K. (2019). Cluster: Cluster Analysis Basics and Extensions. R. Viena: R-project.org.

Rousseaw, P., & Kaufman, L. (1990). Findinggroups in data. N.J: Wiley.

Senge, P. (2006 [1990]). La quinta disciplina. El arte y la práctica de la organización abierta al aprendizaje. Buenos Aires: Gránica.

ANEXO: FICHA DE INDICADORES PARA LA ESTIMACIÓN DEL AUDITECT

El objetivo de esta sección es presentar el conjunto de indicadores que serán usados para realizar la evaluación parcial trimestral y la certificación anual de las contralorías territoriales; los indicadores se clasifican en primarios, secundarios e indicadores de proceso. Este conjunto de indicadores será utilizado para construir el Índice AuditeCT. Dicho Índice será usado para realizar la evaluación trimestral de las contralorías territoriales y proferir el pronunciamiento de la Auditoría General de la República sobre la certificación anual de las contralorías territoriales en términos de cuáles contralorías son certificadas y cuales no son certificadas. Para cada uno de los indicadores se presenta la siguiente información: