Capítulo 5. Implementar mecanismos electrónicos para apoyar el sistema de adquisiciones de Nuevo León

En este capítulo se analiza el sistema de adquisiciones públicas y las herramientas de las tecnologías de la información en el estado de Nuevo León. El capítulo se centra específicamente en la disponibilidad de estas herramientas y cómo pueden servir para el sistema de adquisiciones públicas de Nuevo León. En el capítulo se analiza el grado de implementación de los servicios de tecnología de la información y su uso en actividades de contratación pública en comparación con los principios establecidos en la Recomendación de la OCDE. Además, en el capítulo se evalúa la forma como un sistema electrónico de adquisiciones en Nuevo León lo acerca al logro de algunos de los principales objetivos de la contratación pública, como transparencia y eficiencia. Por último, en el capítulo se trata cómo podría el Gobierno del Estado de Nuevo León cosechar los beneficios del sistema electrónico de compras. Específicamente, los autores mencionan los datos y la información que se recopilarían mediante sistemas de tecnología de la información con el fin de mejorar el funcionamiento del sistema de contrataciones públicas en su conjunto.

  

Los gobiernos cada vez adoptan tecnologías de la información y comunicación (TIC) más diversas en sus actividades y operaciones cotidianas. Las TIC también se integraron a los procesos de contratación pública mediante la implementación de sistemas de contratación electrónica.

La contratación electrónica es una herramienta eficaz para mejorar los procedimientos administrativos y, quizá más importante, también ayuda a los funcionarios a observar varios principios centrales para la contratación pública. Algunos de estos principios básicos son transparencia, acceso, eficiencia, integridad y rendición de cuentas. La implementación de un sistema sólido de contratación electrónica permite la difusión oportuna de información con menores costos de transacción para a las partes interesadas relevantes. Algunas de estas partes interesadas son autoridades contratantes, licitantes, otros proveedores en el mercado, organismos de supervisión —como autoridades de control y auditoría—, organizaciones de la sociedad civil y ciudadanos. El empleo de las TIC facilita la participación de más proveedores, en especial pequeñas y medianas empresas (PYMES), en los procesos de contratación pública. Esto es así porque la contratación electrónica da a compradores y proveedores un mejor acceso al mercado con menores costos. El incremento de la competencia ayuda a los gobiernos a encontrar mejores términos y condiciones para los compradores, y lograr mayor valor por el dinero en sus adquisiciones. En todo el proceso, los sistemas de contratación electrónica también proveen mejor rastreabilidad de información y mayor transparencia, lo cual a su vez mejora la integridad y rendición de cuentas de los actores y el sistema en su conjunto. La Recomendación de la OCDE reconoce los diversos beneficios que se derivan de aprovechar las tecnologías digitales en todos sus ciclos de adquisición (Recuadro ‎5.1)

Recuadro ‎5.1. Recomendación del Consejo de la OCDE sobre Contratación Pública

El Consejo:

VIII. Recomienda que los Adherentes mejoren el sistema de contratación pública mediante el aprovechamiento de las tecnologías digitales para dar soporte a la innovación, a través de la contratación electrónica, a lo largo de todo el ciclo de la contratación pública.

A tal fin, los Adherentes deberán:

i. Hacer uso de las novedades más recientes en materia de tecnología digital que aporten soluciones integradas de contratación electrónica para todo el ciclo de la contratación pública. Es preciso que se utilicen en la contratación pública las tecnologías de la información y la comunicación, pues permiten garantizar la transparencia y el acceso a las licitaciones públicas, impulsando la competitividad, simplificando los procedimientos de adjudicación de contratos y la gestión de éstos, procurando ahorros en los costos e integrando la información correspondiente a las esferas de la contratación pública y las finanzas públicas.

ii. Procurarse herramientas avanzadas de contratación electrónica que sean modulares, flexibles, expansibles y seguras, a fin de que se garanticen la continuidad de las actividades, la privacidad y la integridad, se dispense un trato justo y se proteja la información sensible, a la vez que se dispone de las capacidades y funciones necesarias que permitan la innovación en la actividad. Las herramientas de contratación electrónica deberán ser sencillas de utilizar, adecuadas a sus fines y, en la medida de lo posible, ser homogéneas entre todas las entidades que participan en la contratación pública; unos sistemas excesivamente complicados pueden introducir elementos que pongan en peligro la aplicación y ser un obstáculo para los nuevos participantes o las pequeñas y medianas empresas.

Fuente: (OECD, 2015[1]).

El Gobierno del Estado de Nuevo León (GENL) emprendió acciones para digitalizar sus procesos de adquisición. Algunos de estos pasos son la publicación en Internet y el almacenamiento digital de información de adquisiciones, y un mayor uso de subastas electrónicas inversas. Como ya se analizó, los sistemas electrónicos de contratación pueden contribuir al desarrollo económico en el estado. La contratación electrónica daría mayor transparencia y eficiencia al sistema. En combinación con el poder económico de las compras centralizadas, la contratación electrónica ayudaría a impulsar el desarrollo económico. Más aún, un sistema de contratación electrónica ayudaría a Nuevo León a crear un gobierno más transparente y eficaz. Estas dos metas son objetivos básicos del Plan Estatal de Desarrollo de Nuevo León para 2016-2021 y del Plan Estratégico para el Estado de Nuevo León 2015-2030. En este capítulo se analiza la implementación de sistemas electrónicos de contratación en el GENL. Después estudia las formas en las que la contratación electrónica puede rendir diversos frutos, como transparencia, rendición de cuentas, eficiencia y gestión del desempeño.

5.1. Elaborar plataformas de información de contratación electrónica para almacenar y divulgar mejor la información sobre adquisiciones públicas

5.1.1. Incrementar la transparencia del sistema de adquisición pública mediante la contratación electrónica

Un grado adecuado de transparencia es esencial para un sistema de contratación pública con buen funcionamiento. Por esta razón, muchos países de la OCDE colocaron la transparencia en el centro de reformas recientes de sus sistemas de contratación pública. El informe de 2013 de la OCDE Implementación de los Principios de la OCDE para la Integridad en la Contratación Pública. Avance desde 2008 reconoció esta tendencia. El informe menciona que muchos países buscan garantizar un grado de transparencia “que no impida la efectividad de la contratación pública” (OECD, 2013[2]). Con el fin de aumentar la transparencia, muchos países han implementado sistemas electrónicos de contratación.

Publicar y divulgar información de adquisición pública ha sido una de las motivaciones principales de la implementación de sistemas electrónicos de contratación en países de la OCDE, incluyendo México. En 2016, el estado de Nuevo León aprobó la Ley de Transparencia y Acceso a la Información Pública del Estado de Nuevo León. Extendió la ley de transparencia y acceso a la información que ya estaba vigente a más dependencias e instituciones públicas. Este fue un gran avance en términos de garantizar la transparencia en la esfera pública. Esto reflejó la percepción cambiante sobre la información pública. Como explica la ONG anticorrupción Transparencia Mexicana, “En México, la información pública cada vez se concibe más como propiedad de los ciudadanos, en lugar de una prerrogativa de los políticos” (Transparencia Mexicana, 2012[3]).

En la actualidad, en México, la transparencia en contratación pública se reconoce ampliamente como “un disuasivo para la corrupción” (Transparencia Mexicana, 2012[3]). El incremento de transparencia que se garantiza mediante los sistemas electrónicos de contratación permite la supervisión de más partes interesadas sobre las decisiones de compra de los funcionarios públicos. El papel crucial que desempeña la transparencia en los sistemas de adquisición se describe con más detalle y también se destaca en la Recomendación OCDE (Recuadro ‎5.2).

Recuadro ‎5.2. Recomendación del Consejo de la OCDE sobre Contratación Pública

El Consejo:

II. Recomienda que los Adherentes aseguren un nivel adecuado de transparencia a lo largo de todas las fases del ciclo de la contratación pública.

A tal fin, los Adherentes deberán:

i. Fomentar un trato justo y equitativo a los potenciales proveedores aplicando el adecuado grado de transparencia en cada fase del ciclo de la contratación pública […]

ii. Permitir el libre acceso, a través de un portal en Internet, a todas las partes interesadas, incluidos los potenciales proveedores nacionales y extranjeros, la sociedad civil y el público en general, a la información relativa a la contratación pública […]

iii. Garantizar la transparencia del flujo de fondos públicos, desde el principio del procedimiento presupuestario y a lo largo de todo el ciclo de la contratación pública […]

Fuente: (OECD, 2015[1]).

Si bien la instalación de un sistema electrónico de compras incrementa la rendición de cuentas y la supervisión, no es una panacea. Como señala Transparencia Internacional —una organización de la sociedad civil enfocada en temas anticorrupción—, “es poco probable que el establecimiento de un sistema de contratación electrónica como reforma única proporcione resultados transformacionales positivos. La transparencia y la rendición de cuentas se deben integrar a las especificaciones y diseño de la contratación electrónica para permitir un análisis significativo de la información generada” (TI, 2014[4]). En este sentido, la implementación de un sistema electrónico de contratación no debe ser un fin en sí mismo. Los gobiernos deben emprender medidas que garanticen la integración de transparencia, rendición de cuentas y análisis de información en todos los pasos de estos procesos para que contribuyan al funcionamiento firme del sistema de contratación pública en su conjunto.

La información de contratación pública registrada en el Sistema Electrónico de Compras Públicas se presentaría con más claridad y se facilitaría su búsqueda

La Unidad Centralizada de Compras (UCC) de Nuevo León centraliza las compras en el estado y efectúa todos los procesos de adquisición pública de bienes y servicios para las entidades centralizadas. También lleva a cabo la adquisición de bienes y servicios para algunas entidades descentralizadas con las cuales firmó un acuerdo de cooperación. El Sistema Electrónico de Compras Públicas (SECOP) publica información relacionada con procesos de contratación pública que lleva a cabo la UCC mediante licitación abierta, convocatoria restringida, subasta electrónica inversa y acuerdos marco.

El SECOP tiene el objetivo de: 1) divulgar información relevante a proveedores potenciales, como convocatorias de licitación, juntas de aclaración y minutas de actos de compras; 2) ser un medio por el cual se desarrollan los procedimientos de contratación electrónica; 3) promover la transparencia y supervisar las adquisiciones, arrendamientos y servicios del sector público, y 4) generar la información necesaria que permita una planeación, programación y asignación adecuadas del presupuesto para contratación pública y la creación de todos los reportes relacionados con las evaluaciones. Para este fin, la página principal del SECOP1 muestra enlaces a la siguiente información (véase la Figura ‎5.1):

  • Leyes y regulaciones aplicables a la adquisición pública del GENL.

  • Oportunidades de adquisición pública actuales y pasadas mediante licitación abierta.

  • Oportunidades de adquisición pública actuales y pasadas mediante convocatoria restringida.

  • Comunicados sobre acuerdos marco.

  • Portal de subastas electrónicas inversas.2

  • Programa anual de adquisiciones.

  • Registro de estudios.

  • Registro de proveedores.

  • Registro de testigos sociales.

Figura ‎5.1. Imagen de la página principal del SECOP
picture

Fuente: (Gobierno del Estado de Nuevo León, s.f.[5]).

Estas páginas de Internet contienen información relacionada con todos los procesos de contratación pública que se han llevado a cabo desde la implementación del SECOP, en 2016. Cada página sobre procesos de adquisición pública proporciona la lista completa de temas relacionados con cada tipo de procedimiento, junto con un conjunto de documentos en formato PDF. Esta lista contiene información específica del proceso de adquisición y una descripción del proceso. La descripción del proceso incluye información sobre si estaba abierto a participación internacional, si se llevó a cabo en forma física o electrónica, y una breve descripción del bien o servicio que se adquirió (o se adquirirá). Esta lista también se complementa con enlaces a documentos asociados con cada proceso. Por ejemplo, para todas las licitaciones concluidas, se puede consultar en el sitio de Internet del SECOP la información respecto de la convocatoria para la licitación; especificaciones técnicas, minutas de las juntas de aclaración, apertura de propuestas; evaluaciones del comité de adquisición, y la decisión final y notificación de adjudicación.

La forma como el sitio de Internet del SECOP presenta la información se podría reconsiderar para reflejar mejor qué desea comunicar el GENL a sus partes interesadas. Actualmente, la cantidad de procesos de licitación que se publican es relativamente bajo en comparación con otras plataformas electrónicas de adquisición nacionales. Sin embargo, aún es difícil para los usuarios acceder a la información que necesitan son conocimiento previo de un proceso específico. Por ejemplo, para que cualquier parte interesada busque información sobre un proceso de adquisición pública, necesita saber mediante qué procedimiento se llevó a cabo el proceso. Además, la parte interesada necesita saber si el proceso de interés se adjudicó, así como el año en que se efectuó. En pocas palabras, es difícil que las partes interesadas naveguen por el sitio de Internet sin un conocimiento previo. De este modo, el diseño actual del sitio de Internet del SECOP no facilita el acceso a la información para quienes carecen de información de los procesos específicos. En vista de esto, el GENL debe considerar qué información sería de interés para sus partes interesadas y cómo comunicarles mejor esta información. Por ejemplo, podría añadirse algunas funciones y filtros de búsqueda a las listas de procesos. Además, se puede presentar alguna información básica respecto del proceso de contratación pública general en la página principal del SECOP y en cada página con formato PDF.

El GENL puede considerar mejorar la forma de comunicar los programas anuales de adquisición

La publicación de un programa anual de adquisición es una obligación para las entidades gubernamentales en Nuevo León. El artículo 12 de la Ley de Adquisiciones, Arrendamientos y Contratación de Servicios del Estado de Nuevo León (LAACSNL) estipula que los programas anuales de adquisición de todas las entidades gubernamentales necesitan estar disponibles en el SECOP y sus sitios de Internet el 31 de enero de cada año. Estos programas tienen el propósito de servir solo como referencias prospectivas. No crean ningún compromiso y se pueden modificar con adiciones, cambios o cancelaciones después de informar a los comités de adquisiciones correspondientes.

Actualmente se publican en el SECOP los programas anuales de adquisición de 16 entidades del gobierno central. Los programas se publican en formato PDF, para consulta y descarga directa desde la plataforma. Esta forma de presentación solo permite a las partes interesadas buscar por entidad individual y buscar el bien o servicio de interés. Pero, los programas anuales de adquisición no especifican a qué año corresponden.

La forma como el SECOP presenta la información necesita corresponder al objetivo de comunicación de la información. Por ejemplo, tanto las entidades gubernamentales como los proveedores dependen de la información que ofrecen los programas anuales de adquisición. Estos programas ayudan a las entidades gubernamentales a planear sus actividades de compra para el año siguiente y organizar su gasto de forma más estructurada y predecible. Estos programas también tienen información crucial para los proveedores. Los proveedores necesitan esta información para conocer las próximas oportunidades de adquisiciones de modo que puedan organizar sus propuestas. Así, la presentación de información acerca de los programas anuales de adquisición necesita contener datos útiles tanto para las entidades gubernamentales como para los proveedores.

Los métodos de comunicación actualmente empleados en Nuevo León no son los óptimos, en especial en el logro del objetivo de informar a los proveedores. La mayoría de los proveedores no sabe qué entidades necesitan sus bienes y servicios. Más aún, un año (como se describe en los programas anuales de adquisición) es demasiado amplio para que los proveedores planeen de forma eficaz. En vista de lo anterior, el GENL podría evaluar qué información y cuánta anticipación necesitan los proveedores para incrementar su participación y tener acceso a oportunidades de contratación pública. Durante la visita de la OCDE de recopilación de información en Nuevo León, las partes interesadas afirmaron que ciertos proveedores se acercan a las entidades gubernamentales individualmente para comprender sus necesidades y oportunidades de compra venideras. Esto crea asimetrías de la información entre funcionarios públicos y los proveedores, así como entre los proveedores. Para reducir esta asimetría de información, y facilitar e incrementar la participación de proveedores, el GENL se debe comunicar mejor con todos sus proveedores, no solo con los pocos seleccionados que tienen los medios o que se presentan en persona. El GENL puede mejorar su comunicación al crear programas anuales de adquisición con base en evaluaciones de las necesidades de los proveedores. La Lista del Plan Anual de Adquisiciones en el sistema de información de contratación del gobierno australiano, AusTender, puede servir de modelo para estos cambios (Recuadro ‎5.3).

Recuadro ‎5.3. AusTender. Lista del Plan Anual de Adquisición

AusTender, el sistema de información de adquisiciones del gobierno australiano, proporciona a los proveedores un punto central para encontrar oportunidades de negocio públicamente disponibles y las contrataciones planeadas publicitadas por el gobierno australiano.

En AusTender, los proveedores pueden navegar en los planes anuales de adquisición por dependencia, o buscar adquisiciones por palabra clave, categoría, fecha de presentación en el mercado o dependencia. Si, por ejemplo, un proveedor vende equipo de oficina, puede filtrar las adquisiciones con esta categoría y luego navegar en las contrataciones planeadas en el gobierno. Los proveedores pueden también agregar adquisiciones de interés a su “lista para vigilar” de AusTender para recibir actualizaciones y notificaciones.

Fuente: (Australian Government, s.f.[6]).

Como estrategia de largo plazo, el GENL puede publicar información de contratación pública de todas las entidades gubernamentales, incluso las de entidades paraestatales, en un solo portal

Además del SECOP, el gobierno de Nuevo León emplea otros canales para publicar información relacionada con oportunidades de adquisiciones públicas. En el estado es obligatorio que la información relacionada con procesos de contratación publica que no efectúe la UCC se registre en el Portal de Transparencia del estado.3 La información que se registra en el Portal de Transparencia es similar a la del SECOP. En particular, el portal proporciona información de contratación pública por entidad, como avisos de licitaciones, adjudicación directa de obras públicas, órdenes de compra y procesos de subastas inversas electrónicas. Si bien hay algunas diferencias básicas entre el Portal de Transparencia y el SECOP, ambos observan requerimientos de publicación muy semejantes. La lista completa y actualizada de información que se encuentra en el Portal de Transparencia se puede observar en la Figura ‎5.2. El método de presentación de este portal plantea problemas similares a los del SECOP. A menos que las partes interesadas tengan información de un proceso específico, la presentación no es fácil para que los usuarios naveguen.

En el Portal de Transparencia, los registros de órdenes de compra se conjuntan por dependencia y se publican mensualmente. El equivalente de esta información no está disponible todavía en SECOP. Algunos registros de datos disponibles para su descarga del Portal de Transparencia contienen diferentes tipos de información por entidad y no se presenta de manera uniforme.

El GENL puede considerar la elaboración de un portal único en el que se publique toda la información relativa a contratación pública. Este portal debe incluir información de todos los organismos del gobierno central, así como de dependencias descentralizadas. Esto permitiría al gobierno comunicar mejor la información de adquisición. También permitiría fomentar una mayor transparencia al permitir que una base más grande de partes interesadas tenga acceso al sistema y conozca sobre la contratación pública en el estado.

Figura ‎5.2. Portal de transparencia de adquisición pública del GENL
picture

Fuente: (Gobierno del Estado de Nuevo León, s.f.[7]).

5.1.2. Administración de información de proveedores mediante el Padrón Único de Proveedores y Contratistas

El registro debe almacenar información de proveedores y contratistas en un formato electrónico y estructurado para disminuir la cantidad de información que se les solicita para cada proceso de adquisición

Para que cualquier proveedor participe en contratación pública, necesita primero estar registrado en el padrón estatal. En 2017, el GENL lanzó el Registro Único de Proveedores y Contratistas (RUPC). El RUPC4 unifica los procesos de registro de proveedores de bienes y servicios y proveedores de obras. Antes, los proveedores de bienes y servicios se registraban en el Padrón de Proveedores, y los contratistas de obras, en el Registro Estatal de Contratistas.

Conforme al marco actual, proveedores y contratistas se registran en un solo portal, con información general como la siguiente:

  • Información del representante legal de su organización, documentos legales de identidad e información general de la empresa, su domicilio y comprobante.

  • Número de registro de contribuyente y documentación de soporte.

  • Declaración de actividades económicas.

  • Ubicación geográfica y prueba fotográfica.

  • Currículum y experiencias previas.

  • Certificación.

  • Información financiera con base en declaraciones anuales.

En la pantalla principal se observa el avance del registro.

El registro en el RUPC es gratuito; sin embargo, la cantidad de documentación que se solicita a proveedores y contratistas para registrarse y participar en oportunidades de contratación pública estatal es muy sustancial. Solo una vez que el registro está completo, los proveedores y contratistas reciben el certificado de registro que les permite participar en procesos de contratación pública. La Secretaría de Administración revisa y valida el proceso de registro de proveedores de bienes y servicios, y la Secretaría de Infraestructura, el de contratistas de obras.

El GENL puede considerar formas de disminuir la carga administrativa para proveedores y contratistas una vez que finaliza el registro. Por ejemplo, la información que proporcionan los proveedores y contratistas en el RUPC puede almacenarse en un formato estructurado que se recupere fácilmente durante los procesos de contratación pública. Si las autoridades contratantes, en especial la UCC, pudieran recuperar información general de cada proveedor desde el RUPC, disminuiría la carga administrativa tanto para los proveedores como para las autoridades públicas. Esto es válido sobre todo por tener que verificar la congruencia de la información durante cada proceso. Si el GENL decide emprender acciones para mantener fácilmente disponible la información general de cada proveedor, también sería importante asegurar que esta información se actualice con regularidad.

5.2. Incrementar la eficiencia del sistema de contratación pública mediante mecanismos electrónicos

Además de facilitar el almacenamiento y la difusión oportuna de la información de contratación pública, la integración de tecnologías digitales a la función de adquisición pública incrementa la eficiencia del sistema. Esto es así porque las tecnologías de datos fomentan la estandarización y automatización de los procesos de adquisición, así como ahorros en transacciones, costos administrativos y tiempo. Más aún, en muchos países, los gobiernos adoptan herramientas digitales de adquisición para impulsar la eficiencia. Estas herramientas, también reconocidas en la Recomendación de la OCDE como impulsores de eficiencia del sistema de contratación pública (Recuadro ‎5.4), son cada vez más comunes en los sistemas de contratación electrónica en países de la OCDE.

Recuadro ‎5.4. Recomendación del Consejo de la OCDE sobre Contratación Pública

El Consejo:

VII. RECOMIENDA que los Adherentes desarrollen procedimientos que, satisfaciendo las necesidades de la administración pública y de los ciudadanos, impulsen la eficiencia a lo largo de todo el ciclo de la contratación pública.

A tal fin, los Adherentes deberán: […]

iii. Crear, y utilizar, instrumentos que mejoren los procedimientos de contratación pública, reduzcan las duplicidades y logren una mayor eficiencia, incluyéndose entre estos mecanismos la centralización de la contratación pública, los acuerdos marco, los catálogos electrónicos, la adquisición dinámica, las subastas electrónicas, las contrataciones compartidas y los contratos con opciones. […]

Fuente: (OECD, 2015[1]).

En esta sección se analiza cómo el GENL puede continuar aumentando la eficiencia del sistema de contratación pública mediante las soluciones electrónicas de adquisición existentes, así como las herramientas electrónicas que el GENL podría utilizar más para este fin.

5.2.1. Establecimiento de objetivos estratégicos para el sistema de contratación electrónica

La implementación de nuevas herramientas electrónicas de adquisición debe vincularse a objetivos estratégicos

Tras heredar la versión actual de la SECOP de la administración previa del GENL, la administración actual comenzó a desarrollar la versión 2.0 del SECOP. El objetivo de la nueva plataforma es unificar, simplificar y digitalizar el sistema para el registro de proveedores de bienes y servicios, así como de contratistas. La administración también espera mejorar el SECOP para agilizar las compras y contrataciones públicas en el estado.

El GENL cada vez dedica más esfuerzos a obtener beneficios del sistema de contratación electrónica además de la transparencia. Por ejemplo, el gobierno estatal expresó su deseo de incrementar la eficiencia en el sistema de adquisición pública. El desarrollo del sistema de contratación electrónica en el GENL apoya este objetivo al simplificar y agilizar los procedimientos de adquisición. Colombia realiza esfuerzos semejantes (véase el Recuadro ‎5.5). El GENL puede asegurar que los avances en la contratación electrónica concuerden con el plan de desarrollo general del estado, y que la contratación electrónica no se limite a una administración gubernamental específica. Al hacer esto, garantizaría la continuidad del sistema, no solo en la mentalidad de los funcionarios públicos, sino también para los proveedores que participan en el proceso de contratación pública.

Recuadro ‎5.5. Contratación electrónica en Colombia

Colombia aprobó una ley en 2007 que hizo obligatorio que cada entidad de compras divulgara documentos relativos a adquisiciones en una página electrónica llamada Sistema Electrónico de Contratación Pública (SECOP). Tras la aprobación de esta ley, los proveedores interesados pueden verificar en el SECOP, sin costo, las oportunidades de negocio. Esto impulsó la competencia en los procesos de licitación.

Colombia Compra Eficiente lanzó el SECOP II en 2015. El SECOP II es una plataforma de contratación electrónica totalmente transaccional concebida como una evolución del primer SECOP. En esta plataforma, los proveedores crean un perfil y reciben actualizaciones de nuevas oportunidades de negocio. La interacción con las dependencias adquirientes se realiza a través de SECOP II. Las cotizaciones se ingresan sin papel y los datos se muestran en tiempo real a cualquier parte interesada. También se incluyeron en esta solución módulos para la publicación de planes anuales de adquisición y para gestión de contratos. El SECOP II mejora la eficiencia general conforme incrementa la competencia y reduce los costos de transacción relativos a los procesos de adquisición. Más aún, el SECOP II opera junto con el sistema presupuestario del gobierno central.

Nota: El SECOP II está disponible en https://www.colombiacompra.gov.co/ secop/secop-ii.

Fuente: Colombia Compra Eficiente.

5.2.2. Uso de la contratación electrónica para cubrir el ciclo completo de adquisición pública

El GENL puede considerar un mayor uso del sistema de contratación electrónica para cubrir el ciclo completo de adquisición pública con el fin de reducir los procesos en papel y apoyar las operaciones de contratación pública

La automatización del proceso reemplaza la interacción personal al colocarla en plataformas electrónicas; esto incrementa la eficiencia del sistema porque reduce los costos de transacción y administrativos, así como el tiempo. Más aún, el reemplazo de procesos que requieren presencia física de funcionarios de adquisición pública mediante procesos electrónicos automatizados reduce la posibilidad de violaciones de integridad. Las plataformas transaccionales de contratación electrónica que permiten interactuar con el sistema son muy útiles tanto para las autoridades contratantes como para los proveedores.

La mayoría de las obligaciones relativas al uso de sistemas de contratación electrónica en el GENL se relaciona con la publicación de información. Actualmente, los procesos de contratación pública por lo general se realizan en persona y no por medios electrónicos (excepto los casos de subasta electrónica inversa).

El uso de sistemas electrónicos de contratación es muy común en los países de la OCDE, si bien el grado de implementación varía. Como sucede con el GENL, los sistemas de adquisición electrónica de muchos países de la OCDE se emplean más para publicar y almacenar información de contratación pública. Las funcionalidades que más se proporcionan en los sistemas de adquisición electrónica de los países de la OCDE son anuncios de licitaciones, notificaciones de adjudicación de contratos a proveedores y presentación de documentos de licitación. Las funcionalidades relacionadas con los aspectos transaccionales de los sistemas de contratación electrónica —como ingreso electrónico de facturas, catálogos y órdenes de compra por Internet— se proporcionan en menos países de la OCDE. La gran mayoría de países de la OCDE tan solo usa los sistemas electrónicos de contratación para apoyar las solicitudes electrónicas de licitaciones.

Figura ‎5.3. Funcionalidades en sistemas de contratación electrónica de países
de la OCDE (2016)
picture

Fuente: Encuesta sobre Contratación Pública OCDE 2016, inédito.

Los países de la OCDE cada vez hacen que sus sistemas de contratación electrónica sean más transaccionales. Por ejemplo, Canadá, Israel y Eslovenia anunciaron planes para implementar la presentación electrónica de propuestas. Además, la Comisión Europea presentó iniciativas para apoyar la transición hacia un sistema electrónico de contratación que cubra el ciclo completo de la contratación pública en todos los países de la UE. Esta medida incluye la presentación electrónica obligatoria de cotizaciones en los países miembros de la UE para 2018.

Recuadro ‎5.6. Iniciativas de contratación electrónica en la UE

La Unión Europea emprendió iniciativas hacia un sistema de contratación electrónica de punta a punta. Más allá de las herramientas electrónicas, la digitalización de la adquisición replantea varias fases anteriores y posteriores a la adjudicación con el propósito de que sea más fácil para las empresas poder participar y más fácil de administrar para el sector público.

Para lograrlo, las nuevas reglas de la contratación electrónica en la UE se aplicarán de forma gradual, con el siguiente calendario:

  • En abril de 2016 se dispondrá de oportunidades y documentos electrónicos para las licitaciones.

  • Para abril de 2017, los organismos centrales de adquisiciones deben adoptar medios electrónicos de comunicación completos, inclusive presentación electrónica de cotizaciones.

  • Para octubre de 2018, la presentación electrónica debe ser obligatoria para todas las autoridades contratantes y todos los procedimientos de adquisición.

  • Se planean acciones más detalladas para fomentar la interoperabilidad y estandarización de los procesos de contratación electrónica.

Fuente: (European Commission, s.f.[8]).

El GENL puede aprovechar oportunidades para digitalizar más sus operaciones de contratación púbica. El estado puede emprender acciones para lograrlo al digitalizar las entregas de requisiciones desde las dependencias y entidades gubernamentales a la UCC, hacer pedidos, facturar y gestionar contratos. Estos procesos ya se registran digitalmente, pero sobre todo en formato PDF como copias escaneadas de los documentos. Reemplazar este proceso en papel con tecnologías digitales puede, en particular, reducir las demoras y cargas administrativas de los funcionarios públicos y de los proveedores. También estandarizaría y agilizaría más las operaciones de contratación pública.

5.3. Sistemas de contratación electrónica para apoyar la recopilación de datos, y uso de datos para mejorar el sistema de contratación pública

Un sistema electrónico de contratación bien implementado posibilita y facilita la recolección oportuna de datos completos y confiables. La información estadística de adquisiciones con estos datos es esencial para evaluar las políticas y funcionamiento del sistema. La Recomendación de la OCDE subraya la importancia de “impulsar mejoras de desempeño mediante la evaluación de la efectividad del sistema de contratación pública desde adquisiciones individuales hasta el sistema completo, en todos los niveles de gobierno en donde sea factible y adecuado” (OECD, 2015[1]). Detalla que, para lograrlo, los países deben “evaluar de manera periódica y uniforme los resultados del proceso de adquisición. Los sistemas de contratación pública deberán recabar información congruente, actualizada y confiable, y aprovechar los datos de adquisiciones previas, en particular en relación con precio y costos generales, pues proporcionan una fuente valiosa de información y pueden guiar decisiones de adquisiciones futuras” (OECD, 2015[1]).

5.3.1. Evaluar el desempeño del sistema de contratación pública

Recopilar y centralizar automáticamente datos de adquisición pública del SECOP y otros sistemas relacionados de acuerdo con un marco de desempeño predefinido ayudaría al GENL a calificar y evaluar el desempeño de su sistema de contratación pública

El sistema de contratación pública del GENL ha pasado por una reforma significativa. Esta reforma se enfocó en cambios no solo en los parámetros institucionales sino también en la forma en la cual se concibe la función de contratación pública en el estado. Antes, el proceso de adquisición se veía como un ejercicio administrativo rutinario. La reforma permitió que el GENL implementara diversas medidas para transformar la contratación pública en una herramienta estratégica. Estas acciones pretenden ayudar a los funcionarios de adquisición a mejorar su eficiencia y crear valor por el dinero, como se analiza en los capítulos anteriores. Si bien esta transformación todavía está en camino, sería de mucha importancia que el GENL recopilara datos significativos y con ellos evaluara el desempeño del sistema de contratación pública.

Actualmente, el SECOP no tiene ninguna funcionalidad que permita agregar datos automáticamente. En cambio, los datos se recaban de forma manual en archivos de Excel. Al mismo tiempo, el SECOP incluye un registro de estudios. Se supone que este registro incluya estudios basados en datos e información recopilados mediante el sistema electrónico de contratación. El registro solo lista un estudio; se llama “Consulta sobre la elaboración del plan estatal de desarrollo”, publicado en enero de 2016. Sin embargo, el estudio no está disponible en Internet (Figura ‎5.4).

Figura ‎5.4. Registro de estudios del SECOP
picture

Fuente: (Gobierno del Estado de Nuevo León, s.f.[9]).

Los países de la OCDE cada vez emplean más los datos que se generan en el sistema electrónico de contratación para evaluar el desempeño de sus sistemas de adquisición y comunicar información sobre sus sistemas a diferentes partes interesadas. Esto significa que estos sistemas no pueden limitarse al uso interno por parte de sus gobiernos. Los gobiernos cada vez publican más datos también con el fin de comunicarse con las diversas partes interesadas del sistema de contratación pública, como proveedores potenciales, sociedades civiles, académicos y ciudadanos. El caso del sistema de datos de contratación pública de Corea (Recuadro ‎5.7) es un ejemplo de dicho uso y comunicación de datos de contratación pública.

Recuadro ‎5.7. Sistema de datos de contratación pública de Corea

Casi 70% de las transacciones de adquisiciones públicas en Corea se realiza en el Sistema de Contratación Electrónica en Línea de Corea (KONEPS). Las transacciones restantes, como compras para la defensa, transacciones de adquisiciones de otras empresas públicas que cuentan con sus propios sistemas de contratación electrónica y algunas transacciones manuales, no se efectúan en la actualidad de manera centralizada. En 2013, el Servicio de Contratación Pública (SCP) de Corea lanzó el Sistema de Datos de Contratación Pública para cubrir esta brecha. El proyecto pretende ofrecer a los responsables de diseñar políticas públicas y a los ciudadanos datos completos de transacciones de adquisición de todo el sector público con el fin de posibilitar una mejor comprensión del mercado de adquisiciones. El proyecto también abarca un estudio analítico de resultados de las políticas públicas.

La autoridad legal competente del proyecto se estableció mediante modificaciones a las leyes de contratación vigentes, como la Ley de de Contratación Gubernamental (julio de 2013) y el Decreto de Aplicación de la Ley de Contratación Gubernamental (enero de 2014). Estas modificaciones dieron al SCP la autoridad legal para requerir datos y establecer fechas límite para que las entidades gubernamentales presenten los datos sobre adquisiciones solicitados.

La contratación pública total en Corea abarca compras que se efectúan en forma tanto electrónica como no electrónica. La contratación electrónica se realiza en KONEPS y otras 23 plataformas electrónicas de adquisiciones para entidades contratantes específicas. Así, la integración de datos incluye la vinculación de los 24 sistemas de contratación electrónica, así como la recopilación central de registros manuales. Se preparará un informe para presentar los datos recabados por organismos, empresas y proyectos gubernamentales. Los datos también se presentarán en infografías con el fin de facilitar la comprensión del usuario final.

La integración de datos enfrenta algunas dificultades debido a cargas administrativas que afectan más o menos a 28 000 dependencias gubernamentales. Las demoras en proyectos simultáneos en algunas entidades gubernamentales para mejorar sus sistemas electrónicos, que tenían la intención de facilitar la integración de datos, también muestran un avance lento. Con el fin de aligerar la carga administrativa en la recopilación de datos mantenidos manualmente, el gobierno coreano analiza vincular la integración de datos a otros sistemas de información financiera, como el Sistema Financiero Educativo, el Sistema Local de Presupuesto y Rendición de Cuentas de Empresas Públicas y el Sistema Nacional de Presupuesto y Rendición de Cuentas. Además, han surgido algunas dificultades debido a la disparidad de la información recabada en cada dependencia gubernamental y entre los distintos sistemas electrónicos de contratación. En respuesta, el gobierno brindó un nuevo código de ruta a las entidades en las que se recabaron datos mediante estándares distintos.

Se espera que la presentación y publicación de datos estadísticos sobre toda la contratación pública mensual y anualmente, y 103 informes específicos basados en los datos, incrementen la disponibilidad de datos para las empresas y el público. El gobierno coreano espera que la disponibilidad de estos datos mejore la transparencia gubernamental y presupuestal. Los informes estarán disponibles en Internet.

Fuente: (OECD, 2016[10]).

El GENL puede considerar hacer mayor uso de los datos de adquisición e información para evaluar el funcionamiento de su sistema de contratación pública. Esto requeriría identificar un marco de desempeño para el sistema de contratación pública del GENL. De acuerdo con este marco, el GENL definiría entonces las áreas en donde se necesita recopilar y agregar datos. Como se reconoce en el Capítulo 2, la Secretaría de Administración está definiendo un conjunto de indicadores básicos de desempeño para el sistema de adquisición pública. Estos indicadores proporcionarían un marco de desempeño para evaluar el sistema de contratación pública del estado de acuerdo con ciertos objetivos y prioridades. La elaboración de indicadores básicos de desempeño del sistema de Contratación pública en Colombia (véase el Recuadro ‎5.8) puede proporcionar información adicional. Al elaborar el marco de Nuevo León, la comunicación entre diferentes autoridades —incluso las que definen los indicadores y las que administran el sistema de TI— sería crucial. La razón de lo anterior es que todas las partes interesadas deben tener una comprensión común de los objetivos y prioridades del sistema, así como de las implicaciones administrativas y sus factibilidades.

Recuadro ‎5.8. Indicadores básicos de desempeño del sistema de adquisición pública de Colombia

Once indicadores básicos en cuatro áreas objetivo clave

Junto con el desarrollo del SECOP II, la adquisición electrónica actual en Colombia reconoció la importancia de desarrollar indicadores básicos de desempeño que se deriven de la información disponible dentro del SECOP II y otros sistemas relacionados. Se identificaron y definieron once indicadores básicos en cuatro áreas objetivo clave.

Indicador

¿Qué mide?

Descripción

Valor por el dinero

Oportunidad del proceso de adquisición

El nivel de compromisos presupuestarios en el año fiscal

Relación entre compromisos y la adjudicación durante el año fiscal, lo cual no incluye costos de personal, transferencias presupuestales ni gasto de deuda.

Cambios en valor de acuerdo con especificaciones.

La variación en el valor de los contratos entre el valor inicial establecido y los documentos de licitación y el valor final adjudicado

Diferencia promedio entre el valor estimado para la selección y el valor final del contrato

Tiempo promedio del proceso de selección de acuerdo con el mecanismo de adjudicación

Diferencia en tiempo del proceso de selección por mecanismo de adjudicación

Periodo entre la fecha de firma del contrato y la fecha de inicio del proceso

Integridad y transparencia en competencia

Promedio de nuevos contratistas

Porcentaje de contratistas nuevos en una entidad pública respecto del año anterior

Relación entre contratistas nuevos de entidad pública y cantidad de contratistas que trabajaron en la entidad pública el año previo

Concentración de valor de contratos por contratista

Concentración de recursos por contratista que trabaja para una entidad pública mediante contratación pública

Concentración del presupuesto de una entidad pública por contratista medida con el coeficiente Gini

Porcentaje de contratos adjudicados a licitantes plurales

Frecuencia de contratos adjudicados a licitantes plurales por entidad pública

Relación entre contratos y el valor de los contratos adjudicados por una entidad pública a licitantes plurales

Porcentaje de contratos adjudicados en procesos no competitivos

Porcentaje de contratos públicos que se realizan en procesos no competitivos

Porcentaje de contratos adjudicados sin un proceso competitivo, sin incluir contratos inter-administrativos, gasto de reserva del sector de la defensa y servicios profesionales

Rendición de cuentas

Porcentaje de entidades públicas usuarias del SECOP

Uso del SECOP por parte de entidades públicas obligadas a usarlo

Porcentaje de entidades públicas que usan el SECOP

Porcentaje de entidades públicas que publican su Plan Anual de Adquisición en el SECOP

Avance en cumplimiento de la publicación del Plan Anual de Adquisición en el SECOP

Porcentaje de entidades públicas que publican cada año su Plan Anual de Adquisición en el SECOP

Porcentaje de publicidad de los procesos de adquisición en el SECOP

Nivel de publicación en el SECOP de los contratos firmados en un año fiscal

Porcentaje del valor de los procesos de adquisición que publica una entidad pública en el SECOP

Gestión de riesgos

Porcentaje de contratos con modificaciones en tiempo o valor

Proporción entre los contratos modificados después de su firma y el total de contratos realizados por una entidad pública

Proporción de contratos modificados en el valor o duración de su desempeño después de firmar

Fuente: (OECD, 2016[11]).

5.3.2. Uso de datos para mejorar el sistema de contratación pública

Analizar datos históricos de contratación pública y programas de adquisición anual ayudaría a la UCC a administrar mejor el gasto de los recursos públicos y aprovechar oportunidades de mejora de la eficiencia

Como se aprecia en secciones anteriores de este capítulo, la publicación de planes de adquisición no solo beneficia a los proveedores al informarles y ayudarles a prepararse para las próximas oportunidades de adquisición. También ayuda a las autoridades públicas a planear mejor sus actividades de gasto.

Los programas anuales de adquisición actuales en Nuevo León incluyen el código de producto o servicio, descripción del bien o servicio, la unidad contratante y una cantidad. Estos programas están disponibles en el SECOP en formato PDF. No son vinculantes, y las dependencias y agencias gubernamentales pueden modificarlos durante el año. La Jefatura de Administración y Comunicación de la Secretaría de Administración es responsable de recopilar proyectos de programas anuales de adquisición de varias entidades y unidades administrativas del gobierno estatal. Sin embargo, durante la visita de la OCDE para recabar información, los funcionarios afirmaron que se efectuaba un análisis insuficiente sobre los programas anuales de adquisición.

Además de considerar la forma como el gobierno se comunica con las partes interesadas sobre los programas anuales de adquisición, el GENL también necesita pensar en la forma de emplear los programas anuales de adquisición para mejorar el sistema de contratación pública. Junto con los datos históricos del gasto en adquisición pública, se podrían analizar datos adicionales para explorar más oportunidades de consolidación. Estos programas también servirían para monitorear brechas en términos y condiciones —en especial precios— de bienes y servicios similares. Más aún, en los casos de un número relativamente alto de cambios en los programas anuales de adquisición, la UCC podría por ejemplo guiar a las dependencias y organismos gubernamentales a planear sus compras. Esta guía de los gerentes ayudaría a los funcionarios de la UCC a contar con más predictibilidad en su flujo de trabajo.

La administración detallada de categorías de producto y servicio ayudaría al GENL a generar mayor valor por el dinero en la contratación pública

Las entrevistas llevadas a cabo durante la visita de recopilación de información de la OCDE identificaron cierta duda de los proveedores para registrarse en el RUPC. Una razón principal fue la relación no competitiva de negocios que ofrece el gobierno en comparación con el mercado, sobre todo debido a la demora en pagos. En ocasiones, las dependencias descentralizadas en Nuevo León tienen sus propias listas de proveedores que no están registrados en el RUPC. Las dependencias contratan a estos proveedores porque ofrecen términos y condiciones más competitivos por los bienes y servicios que se compran. Para asegurar un funcionamiento firme, junto con la centralización de la contratación pública la UCC necesita establecer términos y condiciones competitivos entre las dependencias y entidades gubernamentales compradoras del estado y los proveedores. Una administración más detallada de las categorías de productos y servicios en todo el sistema electrónico de contratación, y una mejor recopilación de datos, ayudarían al GENL a lograr este fin.

La recopilación de datos en una forma más estructurada y sistemática, como se destaca en este capítulo, ayudaría al GENL a identificar los tipos de procedimiento más adecuados para cada categoría de producto y servicio. La recopilación de datos también ayudaría al GENL a establecer precios más competitivos. Para hacerlo, la información necesita administrarse mediante categorías diferentes de productos y servicios. En consecuencia, el GENL actualmente elabora un módulo de catálogo electrónico en su sistema electrónico de contratación para apoyar compras de bienes y servicios de menor valor. Para este proyecto, sería crucial tener una comprensión firme del mercado, así como de las necesidades de las dependencias y entidades gubernamentales de cada grupo de producto y servicio.

5.4. Propuestas de acción

El GENL ha avanzado mucho en el uso de mecanismos electrónicos para apoyar los procesos de contratación pública. La publicación de información de adquisición pública en el SECOP incrementa la transparencia del sistema de contratación pública. Sin embargo, pese a estos avances, en este capítulo se analizó la falta de estrategia del GENL para comunicar información sobre el sistema electrónico de contratación. Esto es importante, pues el GENL necesita hacer disponible la información de contratación pública para varias partes interesadas mediante esta plataforma.

Además de la transparencia, el GENL también explora más oportunidades de mejorar la eficiencia mediante sistemas electrónicos de contratación. El gobierno del estado unificó el proceso de registro de proveedores y contratistas, y comenzó a elaborar catálogos electrónicos. La recolección de datos de forma estructurada y automática ayudaría al GENL a incrementar la eficiencia en el sistema de contratación pública. En particular, sería crucial para el GENL utilizar los datos para evaluar el funcionamiento de los sistemas de adquisiciones públicas en una forma más continua.

En este sentido, el GENL puede considerar emprender las siguientes acciones para cosechar los siguientes beneficios del uso de mecanismos electrónicos:

Elaborar una plataforma electrónica de información que almacene y divulgue mejor la información de la contratación pública

  1. Incrementar la transparencia del sistema de contratación pública mediante la contratación electrónica:

    • La información de contratación pública registrada en el SECOP puede presentarse en forma más clara y hacer la búsqueda más fácil.

    • El GENL puede considerar mejorar como se comunican los programas anuales de adquisiciones.

    • Como estrategia de largo plazo, el GENL puede publicar información de contratación pública de todas las entidades gubernamentales, inclusive las entidades paraestatales, en un solo portal.

  2. Administrar la información de proveedores: Padrón Único de Proveedores y Contratistas:

    • El padrón debe almacenar información de proveedores y contratistas en formato electrónico y estructurado para disminuir la cantidad de información que se les solicita en cada proceso.

Incrementar la eficiencia del sistema de adquisición pública mediante mecanismos electrónicos

  1. Establecer objetivos estratégicos para la implementación del sistema electrónico de adquisición:

    • La implementación de nuevas herramientas electrónicas de adquisición se debe enlazar a objetivos estratégicos.

  2. Uso de adquisición electrónica para todo el ciclo de adquisición pública

    • El GENL puede considerar un mayor uso del sistema electrónico de adquisición para cubrir todo el ciclo de adquisición pública y reducir así procesos basados en papel y apoyar las operaciones de adquisición pública.

Uso del sistema electrónico de adquisición para apoyar la recopilación de datos y el uso de datos para mejorar el sistema de adquisición pública

  1. Evaluar el desempeño del sistema de contratación pública:

    • Recopilar y centralizar automáticamente los datos de contratación pública del SECOP y otros sistemas relacionados de acuerdo con un marco de desempeño predefinido ayudaría al GENL a evaluar y calificar el desempeño de su sistema de contratación pública.

  2. Uso de datos para mejorar el sistema de contratación pública:

    • Analizar datos históricos de contratación pública y programas anuales de adquisición ayudaría a la UCC a administrar mejor el gasto de recursos públicos y a aprovechar oportunidades de mejorar la eficiencia.

    • La administración detallada de categorías de producto y servicio ayudaría al GENL a obtener mayor valor por el dinero en la contratación pública.

Referencias

Australian Government (s.f.), AusTender: Annual Procurement Plan List, https://www.tenders.gov.au/?event=public.APP.list (consultado el 7 de junio de 2017).

European Commission (s.f.), E-procurement,
https://ec.europa.eu/growth/single-market/public-procurement/e-procurement_fr 
(consultado el 15 de septiembre de 2017).

Gobierno del Estado de Nuevo León (s.f.), Sistema Estatal de Transparencia: Licitaciones, adjudicaciones, y contratos,http://transparencia.nl.gob.mx/site/consulta?concepto=7 
(consultado el 27 de septiembre de 2017).

Gobierno del Estado de Nuevo León (s.f.), Sistema Electrónico de Compras Públicas, http://secop.nl.gob.mx/ (consultado el 7 de septiembre de 2017).

Gobierno del Estado de Nuevo León (s.f.), SECOP NL - Registro de estudios, http://secop.nl.gob.mx/?P=regestudios&order=lista 
(consultado el 27 de septiembre de 2017).

OECD (2013), Implementing the OECD principles for integrity in public procurement: progress since 2008, OECD Publishing, París, https://doi.org/10.1787/9789264201385-en.

OECD (2015), OCDE Recomendación del consejo sobre contratación pública, http://www.oecd.org/gov/ethics/OCDE-Recomendacion-sobre-Contratacion-Publica-ES.pdf (consultado el 18 de mayo de 2017).

OECD (2016), The Korean Public Procurement Service: Innovating for Effectiveness, OECD Publishing, París, https://doi.org/10.1787/9789264249431-en.

OECD (2016), Towards Efficient Public Procurement in Colombia: Making the Difference, OECD Publishing, París, https://doi.org/10.1787/9789264252103-en.

TI (2014), The role of technology in reducing corruption in public procurement, Transparency International, https://www.transparency.org/files/content/corruptionqas/The_role_of_technology_in_reducing_corruption_in_public_procurement_2014.pdf (consultado el 11 de julio de 2017).

Transparencia Mexicana (2012), A New Role for Citizens in Public Procurement, http://corruptionresearchnetwork.org/marketplace/resources/C-M%20SERIES%20-%20A%20new%20Role%20for%20Citizens%20in%20Public%20Procurement.pdf/ 
(consultado el 12 de julio de 2017).