Ese algoritmo, el discriminador

Con la denominada “segunda revolución industrial”, la revolución digital es parte de todas las actividades humanas. La cibernética adopta un protagonismo sin precedentes, el software toma decisiones sin intervención humana. Existen programas que deciden, bajo determinados criterios, que en casos no necesariamente son “equitativos”, y se tornan, en ocasiones, arbitrarios, incurriendo en discriminación por razones de género, sexo, edad y/o nacionalidad.
Para ello la ley se ha planteado “regular” aquellos programas que puedan incurrir en una discriminación algorítmica, por lo que se postula una responsabilidad algorítmica para que los ciudadanos conozcan cómo se gestionan sus datos y para que los desarrolladores opten por métodos preventivos que eviten sesgos en la toma de decisiones automáticas que puedan afectar derechos fundamentales.

*******

Un algoritmo es la receta. Es una serie de instrucciones que se llevan a cabo para que todos los programas que ejecutamos en la red funcionen. Es el derecho adjetivo, para que nos entendamos los juristas. Pero éstos no siempre son neutrales.

Una definición más técnica dada por el profesor de la Facultad de Informática de la Universidad Complutense Ricardo Peña Marí, autor del libro ‘De Euclides a Java, la historia de los algoritmos y de los lenguajes de programación‘ (Nívola) es “conjunto de reglas que, aplicada sistemáticamente a unos datos de entrada apropiados, resuelven un problema en un numero finito de pasos elementales”. Es la fórmula secreta de muchos tótems tecnológicos; como el que trazó en la ventana el amigo del joven universitario Mark Zuckerberg en su dormitorio en Harvard (para quiénes
vieron la película) para que funcionase la primera versión de Facebook.

Con la eclosión digital, cada vez más sectores han optado por “automatizar” o digitalizar determinadas funciones, desde el rubro de las legaltech. Desde gestionar las reclamaciones de los clientes, hasta el ámbito público, donde se designan una cantidad de policías para cada barrio o se dispone una determinada fianza, o bien se establece el sistema de pensiones en el área de salud o evaluación de rendimiento docente en el sector educativo. Hay algoritmos que incluso definen sentencias judiciales a partir de “factores de riesgo”.

Lo más delicado es que toda esa ingeniería se realiza a partir de criterios de edad, raza, religión u orientación sexual. Un tópico verdaderamente controvertido, puesto que además de realizarse en total desconocimiento de la población, aquellas “decisiones” no son necesariamente equitativas. Para eso, intercede la fuerza de la ley, de manera algo desprolija, pero es lo que se pretende en un proyecto de ley del Estado de Nueva York, Estados Unidos. ¿De qué se trata?

Se pretende auditar las decisiones de las máquinas para evitar una discriminación algorítmica. ¿Quiénes auditan? -Humanos-, para bien y para mal. Invocando
principios fundamentales como transparencia, acceso a la información [1] y responsabilidad empresarial. La subjetividad es el obstáculo más complejo, más no
el único.

Un problema: la mayoría de los tenedores de las bases de datos que serían objeto de supervisión legal para corroborar que los algoritmos no realicen discriminación o preferencia alguna no querrán ceder el código fuente de sus algoritmos, es decir, como se mencionó, no querrán develar su fórmula secreta que, además de ser una reacción razonable, cuentan con incontables candados legales y garantías que salvaguardan sus secretos, algo conocido como seguridad jurídica.

Otro problema: la protección de datos personales. En caso de legislar el criterio y alcance de algoritmos que deciden automáticamente determinados tópicos que puede discriminar a sectores de la sociedad, se debe auditar datos sensibles de cada ciudadano, y quién lo haga debe realizar un tratamiento que importa un consentimiento expreso y confidencialidad sin precedentes, entre otras seguridades establecidas por ley. No existe garantías de transparencia y prolijidad en la gestión de los datos.

El tema cobra particular trascendencia en vísperas de la promulgación y vigencia oficial del nuevo reglamento general de protección de datos (NRGPD) para todos los Estados miembro de la Unión Europea. Que al respecto en su considerando 15 señala que “a fin de evitar que haya un grave riesgo de elusión, la protección de las personas físicas debe ser tecnológicamente neutra y no debe depender de las técnicas utilizadas. La protección de las personas físicas debe aplicarse al tratamiento automatizado de datos personales, así como a su tratamiento manual, cuando los datos personales figuren en un fichero o estén destinados a ser incluidos en él”.

Adicionalmente, en el considerando 63 estipula “(…) Todo interesado debe, por tanto, tener el derecho a conocer y a que se le comuniquen, en particular, los fines para los que se tratan los datos personales, su plazo de tratamiento, sus destinatarios, la lógica implícita en todo tratamiento automático de datos personales y, por lo menos cuando se base en la elaboración de perfiles, las consecuencias de dicho tratamiento (…)”. Concluyendo en el apartado 71 del considerando, que “(…) las decisiones automatizadas y la elaboración de perfiles sobre la base de categorías particulares de datos personales únicamente deben permitirse en condiciones específicas”.

El frecuente defecto de la normativa legal en el ámbito de nuevas tecnologías informáticas es la carencia de recursos técnicos. Es decir, por lo general cuando se establece alguna determinación legal, no se contempla el medio pragmático-técnico para ejecutar efectivamente aquel extremo. La solución para el legislador es, converger conocimientos técnicos suficientes y necesarios para normar sobre alguna temática, para que, por el principio de congruencia, la ley sea plenamente aplicable.

Se pretende establecer entonces, una “responsabilidad algorítmica” en los desarrolladores de determinados programas que a través de aprendizaje automático (machine learning[2]) debiesen contemplar metodologías preventivas para evitar sesgos en la toma de decisiones automáticas que puedan afectar derechos fundamentales, evitar que exista discriminación preprogramada y autoejecutada. Un buen parámetro es revisar lo vertido en la conferencia Neural Information Processing Systems, una de las grandes reuniones internacionales sobre algoritmos y procesamiento de información.

No es alentador poder inferir entonces, que, los algoritmos que “gobiernan” nuestras vidas son tan injustos como nosotros mismos.

[1] El acceso a la información en el ciberespacio ha sido reconocido a través de una resolución de la Organización de las Naciones
Unidas (ONU) para la “promoción, protección y el disfrute de los derechos humanos en Internet ”.
[2]Es el subcampo de las ciencias de la computación y una rama de la inteligencia artificial cuyo objetivo es desarrollar técnicas que permitan a las computadoras aprender. De forma más concreta, se trata de crear programas capaces de generalizar comportamientos a partir de una información suministrada en forma de ejemplos. Es, por lo tanto, un proceso de inducción del conocimiento.

Félix Fabián Espinoza Valencia

Magistrado