Qué es la ética de la tecnología y por qué debería importarte | Gemma Galdón-Clavell | TEDxZaragoza

Transcriptor: julieta Albarracín Revisor: Penny Martínez Buenos días. Yo vengo a hablaros de qué es la ética de la tecnología, porque creo humildemente que debería importaros. Y es una buena semana para hacerlo, porque seguramente aún tenemos grabadas en el cerebro las imágenes de Mark zuckerberg, el CEO de Facebook, hablando ante el congreso de EE.

UU, justificando un poco lo injustificable, que es que básicamente Facebook nos ha hecho creer que teníamos unos niveles de privacidad en su plataforma que en realidad no tenemos. Pero no solo eso. Por suerte, hoy somos menos ingenuos en relación con la tecnología y ya sabemos que cuando un producto tecnológico no lo pagamos con dinero, en realidad es que nosotros somos el producto, y nuestros datos son los que están alimentando una maquinaria de anuncios, un modelo de negocio basado en la comercialización de datos personales.

Hoy también sabemos, somos menos ingenuos, que todo lo "smart", todas las herramientas tecnológicas inteligentes nos espian. Y si no, os reto si tenéis una smart TV a que leáis el manual de instrucciones, donde veréis que os recomiendan no tener conversaciones privadas delante del televisor, si tenéis televisor en vuestra habitación igual tenéis un problema, porque básicamente una smart TV, como todo lo que es smart, nos espía. El producto somos nosotros.

Y en tecnología creo que por suerte ya nos hemos acostumbrado a oír a personas que nos hablan del problema de la privacidad de los datos. Pero la ética de la tecnología va mucho más allá de la privacidad. Y permitidme que dé un paso atrás para contaros, para compartir con vosotros cómo empecé yo a darme cuenta de que en tecnología teníamos que mirar todo un universo de cosas que muy poca gente estaba mirando.

Yo empecé a hacer mi tesis hace muchísimos años, mi tesis doctoral en videovigilancia. Quería ver cómo las cámaras impactaban sobre cómo utilizamos la ciudad cuáles eran las motivaciones de los diferentes actores para confiar a una solución tecnológica un problema social importantísimo, como es la percepción de inseguridad. Y ahí estaba yo haciendo mi tesis, descubriendo cosas interesantísimas, viendo métricas y como las cámaras eran capaces de capturar dinámicas y expectativas sociales, pero además devolvérnoslas a la sociedad muchas veces con diferencias.

La cámara no era solo un actor tecnológico, o solo un cacharro. La cámara intervenía en cómo utilizábamos el espacio público, las expectativas que teníamos los unos sobre los otros, cómo comprendíamos la seguridad. Pero en todo este proceso un buen día se me ocurrió coger el libro, un libro de Richard Sennett, un conocido sociólogo, "El declive del hombre público" y en él se preguntaba, mucho antes de que tuviéramos drones y sensores y cámaras por todas partes, y ojos constantes que nos vigilan en nuestra deriva urbana, él se preguntaba en estas ciudades que estamos creando llenas de ojos, dónde se enamorarían Romeo y Julieta.

Y para mí ese fue mi "Aha moment", mi momento de darme cuenta de que mientras yo me focalizaba en dinámicas sociales y métricas y expectativas, me había olvidado de una pregunta importantísima. Esto que estamos haciendo ¿es deseable? ¿Queremos que en nuestras ciudades, Romeo y Julieta, hijos de 2 familias enfrentadas, un amor prohibido, queremos crear ciudades donde los jóvenes de familias dispares o enfrentadas no puedan enamorarse?

Y sobre todo pensando en la gente joven. Una de las cosas que más me sorprendió en mi trabajo es la ignorancia total que tenemos, ignorancia por decirlo suave. Cómo ignoramos los datos y los derechos de los jóvenes, los jóvenes aparecen en mi trabajo de forma sistemática como un colectivo constantemente maltratado por la recogida de datos.

Los jóvenes, porque además no tienen casa propia, tienen una habitación en el mejor de los casos donde ponen candados y carteles de no entrar, mi zona de privacidad, etc. Su zona de privacidad muchas veces es el espacio público, y se lo estábamos quitando. Les estábamos y les estamos quitando a los jóvenes los espacios para darse el primer beso en la clandestinidad, en la privacidad, en la intimidad que necesitan y que merecen, pero no solo para los jóvenes.

Se han preguntado dónde se enamorarían Romeo y Julieta y para mí la gran pregunta es todo esto que estamos haciendo en tecnología, ese dinero que estamos invirtiendo. ¿Es deseable lo que estamos haciendo a nuestro alrededor? Cosas que ocurren con la tecnología, por ejemplo, vinculado a los jóvenes y a los entornos urbanos, por primera vez en la historia y a consecuencia de la penetración de aparatos tecnológicos, es más caro olvidar que recordar.

En toda la historia fue mucho más dificil recordar. Había que escribir pergaminos, después la imprenta. Eso tiene un coste.

Ahora mismo lo difícil es poder olvidar, porque todo genera un registro digital. Yo siempre digo que tengo la suerte de tener más de cuarenta años, porque los primeros 20 años de mi vida no los grabó nadie, tengo alguna foto, pero nada más. A los jóvenes de ahora les condenamos a una vida de miedo, por cómo su huella digital puede impactar en su vida en el futuro.

Esa foto de esa fiesta, ese comentario en una red social, ese momento que queremos olvidar, ese conflicto, incluso esa condena judicial o ese archivo de una causa. Todo eso las personas que han nacido ya en la sociedad actual, totalmente digitalizada, puede emerger en cualquier momento y arruinarte la vida, tu relación de pareja, la consecución de ese trabajo que tanto deseabas. Por lo tanto, en mi trabajo sobre videovigilancia me di cuenta de que había un montón de preguntas sobre tecnología que no estábamos haciendo, y que era importantísimo que alguien realizara.

Desde entonces he tenido la suerte de poder dedicarme a hacer esas preguntas, a explorar cuáles son las preguntas que deberíamos hacer, y cómo debería la tecnología responder a esas preguntas, y entender e incorporar todas esas preocupaciones. Quería detallaros brevemente algunos de los proyectos en los que estuve involucrada, para que veáis cómo se aterriza este tema de la ética de la tecnología. He trabajado mucho tiempo, por ejemplo, en la automatización del paso de fronteras.

No sé si habéis ido a algún aeropuerto recientemente, pero veréis que muchas veces quien nos controla el pasaporte ya no es un policía, sino una máquina, metéis vuestro pasaporte, se os hace un reconocimiento de la huella digital, un match biométrico con vuestro documento de identidad, y la máquina decide si podéis pasar o no. Cuando empezamos a trabajar en las "fronteras inteligentes", una de las primeras cosas que nos sorprendió, y que después hemos visto reproducida en muchos otros casos, es que cuando el parlamento europeo empezó a plantearse la automatización del cruce de fronteras, el debate no pasó por el parlamento europeo porque se consideró una enmienda técnica. Cambiar a policías por un proceso de datos era nada más que una enmienda técnica.

No afectaba según las personas que inicialmente propusieron ese cambio, a la conceptualización de lo que era la frontera, con lo cual podía ser una enmienda técnica que no requería ningún tipo de control público o político. Para que veáis lo poco técnico que esto es, la incorporación de automatización del paso de fronteras ha hecho, por ejemplo, que la frontera desaparezca. Hoy en día, el cruce de la frontera, la línea en el suelo, el aeropuerto, no es lo importante.

Empezamos a viajar y se nos empieza a autorizar el viaje en el momento en el que compramos nuestro billete o solicitamos la visa para viajar. Y nuestro paso de frontera no acaba cuando cruzamos la frontera o cuando llegamos a nuestro destino. Si hemos pedido una visa continúa, porque la validez de nuestra visa es controlada hasta que abandonamos el país, o si no lo abandonamos salta una alarma, para que la policía pueda tomar cartas en el asunto.

Con lo cual la introducción de los datos, la automatización de todo este proceso, ha cambiado completamente lo que supone una frontera. La frontera es ahora mismo un espacio larguísimo, para muchas personas un espacio de control continuo. Han pasado otras cosas.

con la automatización de fronteras hemos incorporado la biometría como herramienta para comprobar la identidad. ¿Qué pasaba en el pasado cuando alguien no quería que su identidad fuera conocida? Quemaba su pasaporte.

Cuando alguien no quería ser devuelto a su país, porque consideraba que en ese país podía sufrir consecuencias indeseables, podía quemar su pasaporte y con eso aspirar a quedarse en un espacio y en un limbo legal y jurídico. Hoy, nuestro pasaporte está en nuestros dedos. ¿Qué están haciendo los migrantes?

Quemarse los dedos, mutilarse, porque es la única forma de evitar que su cuerpo se convierta en su enemigo. Eso que querían pasar como enmienda técnica, está teniendo unas consecuencias brutales sobre los derechos fundamentales de los migrantes. Inicialmente, hoy ya no, alguien quería que no habláramos de eso, que no nos planteáramos cuáles eran las implicaciones de esa decisión.

No solo eso, a través de mi trabajo he podido hablar con más de 1500 personas que han utilizado estos sistemas automáticos de control de la identidad en pasos de fronteras. Y es curioso ver como cuando les preguntas a los viajeros de terceros países, no europeos, no personas del espacio del entorno Schengen: ¿Qué prefieres, un control policial humano o un control automático? La mayoría te dice: "Prefiero el control automático".

Confiamos en la tecnología, creemos que es más eficiente y más justa incluso que la toma de decisiones humana. Pero cuando les preguntábamos a estas mismas personas: ¿Y si la máquina se equivoca? ¿Qué crees que va a pasar?

Todos coincidían: "Estoy perdido, no voy a poder salir". Cuando hay lo que llamamos un falso positivo, cuando la máquina se equivoca, no tenemos los mecanismos ni las leyes que garanticen que podemos salir del hoyo donde nos ha metido ese proceso de toma de decisiones automáticas. Esas son algunas de las cosas que hemos encontrado en el trabajo en el entorno de fronteras.

Otro ejemplo: también hemos trabajado con universidades, para ver el impacto ético de la ciencia ciudadana. La ciencia ciudadana es la ciencia que se hace con la ayuda de las personas, gente que trabaja el movimiento de los mares o la migración de los pájaros, si tuvieran que desplegar a investigadores a todas partes, para hacer fotografías constantes de cómo está el mar, o cómo se mueven los pájaros esto sería muy costoso. Gracias a la tecnología podemos pedir a la gente que vive en espacios concretos que nos manden una foto del mar cada día cuando se levanten a la misma hora y yo proceso todos esos datos y a partir de ahí hago ciencia.

Está muy bien, pero cuando empezamos a trabajar con la universidad y los investigadores, nos encontramos un caso paradigmático de lo que yo llamo despotismo de los datos que es "Todo por el pueblo, con los datos del pueblo, pero sin el pueblo". Los investigadores pedían a la gente que les mandaran un montón de datos personales donde una fotografía geolocalizada puede decir exactamente dónde vivimos, cómo es nuestro entorno e incluso con quién estamos. Pues no había ningún tipo de precaución en relación con la gestión de esos datos.

Y lo llamábamos "ciencia ciudadana". Afortunadamente, hoy ya no es así, y hemos creado mecanismos para que la ciencia ciudadana sea realmente ciencia ciudadana, al servicio de las personas y no solo un espacio de uso y abuso de las personas voluntarias que se prestan para participar en esas investigaciones. Trabajamos también mucho en el ámbito del trabajo, el futuro del trabajo, inteligencia artificial, los robots que nos van a quitar el trabajo, todos esos miedos que tenemos.

¿Y qué nos encontramos? . Los directores de las empresas, los CEOs, los responsables de las empresas tienden a tomar malas decisiones, cuando éstas involucran la tecnología.

Es decir, un responsable de una empresa estará mucho más dispuesto a gastar dinero en tecnología que en procesos no tecnológicos, con lo cual adquirimos tecnología sin pensar si realmente la necesitamos, sobre todo en entornos de trabajo. Estamos viendo la introducción de exoesqueletos, de sensores de control 24 horas en entornos de trabajo en los que no son necesarios para mejorar la eficacia, la eficiencia ni la rentabilidad de esa empresa. Pero, entre que la gente en las empresas no sabe que existen tecnologías menos lesivas, y que quien vende la tecnología siempre quiere venderte la máxima capacidad que puede desarrollar, acabamos con entornos laborales que son insufribles desde la perspectiva de los que trabajan.

Tomamos malas decisiones porque la tecnología nos fascina constantemente. Cómo construimos los mecanismos para empoderarnos a todos a saber distinguir cuando una tecnología realmente nos ayuda o no nos ayuda. Pues a eso nos dedicamos en la ética de la tecnología.

Un cuarto ejemplo: trabajo mucho en tecnologías de seguridad. La verdad es que podría dar 10 TED talks solo sobre seguridad, porque es un ámbito terriblemente sensible Un par de ejemplos: hace unos años estábamos auditando los algoritmos de un proyecto que quería desplegar cámaras de videovigilancia inteligentes en entornos sensibles; bancos y aeropuertos. Las cámaras de videovigilancia inteligentes son capaces de reconocer comportamientos potencialmente criminales de forma automática, no es necesario que el ojo humano esté controlando lo que ocurre, sino que pueden ver por la forma en que se mueve la gente, si su forma de moverse por un espacio es potencialmente peligrosa y así mandar una alarma y la intervención humana solo es necesaria cuando se ha identificado un comportamiento peligroso.

¿Qué nos encontramos? Que los ingenieros se habían codificado a sí mismos como la normalidad. Es decir, la forma de utilizar un banco es entrar y salir, porque tienes mucha prisa, porque tienes trabajo, porque eres joven y te lo puedes permitir.

En ese algoritmo quien emergía como potencialmente sospechoso eran gente mayor, que tiene mucho más tiempo, claro, está lloviendo, vas al banco, hay un sofá, oye pues me quedo un ratín, ¿no? Eso no es potencialmente criminal, pero el algoritmo lo identificaba así porque no era cómo el ingeniero habría utilizado ese espacio. O las familias en aeropuertos.

Yo que viajo mucho, voy al aeropuerto y quiero salir lo antes posible, pero yo no soy la mayoría, y no soy sobre todo la normalidad. Hay gente que viaja y coge un avión una vez al año. Para quien la experiencia del aeropuerto forma parte del viaje en sí, que van 5 horas antes y dan vueltas, comen, vuelven a comer, descansan, salen a la terraza, y todo eso es normal.

Debería ser normal, y en cambio el algoritmo de la cámara inteligente lo había codificado como anormal, y eso pasa constantemente. Como los ingenieros no tienen formación en este tipo de cosas, no se dan cuenta de que codifican su normalidad como la de todos. Y eso, en el ámbito de la seguridad es problemático, porque todo lo que no es normal, es sospechoso.

Y todos tenemos derecho a no ser sospechosos, a no ser que hagamos algo realmente sospechoso. Con lo cual la cámara nos acaba convirtiendo en sospechosos constantemente por salir fuera de esa normalidad tan pequeña definida por los tecnólogos. Por no hablar de los algoritmos predictivos en el ámbito de la seguridad.

Yo no sé cómo se puede decir más alto y más claro. No podemos predecir el futuro. Eso es magia.

Y no sabemos hacerlo. Lo máximo que podemos hacer con los algoritmos es entender lo que ha pasado hasta hoy, y a partir de ahí hacer que emerjan ciertos patrones, y decir: el pasado me lleva a pensar que es posible que en el futuro ocurra eso Esto es lo que podemos hacer. Llamar a eso predicción es muy arriesgado.

Y la insistencia actual de las muchísimas fuerzas policiales de todo el mundo en pedir el algoritmo de la radicalización, de la prevención, el pre-crimen, es imposible. La tecnología nos puede ayudar, pero hasta cierto punto. Y todos tenemos derecho a la presunción de inocencia hasta que cometamos un acto ilícito.

La tecnología tiende a olvidar eso y se siente tan poderosa y tan poco controlada por todos estos elementos que se atreve a prometer la capacidad de prever y de saber lo que vamos a hacer antes de que a nosotros se nos pase por la cabeza. Y finalmente un último ejemplo: el de movilidad. Todos habéis oído hablar de los coches autónomos ¿no?

Teóricamente en poco tiempo todas las ciudades estarán llenas de coches que conducen solos. Pues el coche autónomo es uno de los grandes ejemplos de cómo la arrogancia de la ingeniería puede llevar al fracaso una buena idea. El coche autónomo es muchísimo más seguro que el coche no autónomo.

Pero, ¿qué pasa? A las muertes de los coches no autónomos nos hemos acostumbrado, pero cada vez que un coche autónomo mata o hiere a alguien es portada en todo el mundo. Con lo cual la percepción social es que es mucho más inseguro el coche autónomo que el no autónomo.

Y mientras los ingenieros insistan en decir tengo aquí todas estas cifras que demuestran que es más seguro, y no se preocupen de convencer a la población, de trabajar la aceptabilidad de esa tecnología, de incorporar los miedos y las preocupaciones sociales en la conceptualización de esa tecnología, seguramente lo que va a pasar es que lo que es una buena idea que podría salvar muchísimas vidas, tardará muchísimo más en implementarse, porque los ingenieros tienden a la arrogancia de los números y de la técnica. Para que veáis que la ética de la tecnología no es solo un tema de tu smartphone, de tu televisor, de los aparatos de consumo que usamos. Hay una infraestructura de datos que marca todo lo que hacemos, que requiere urgentemente de un cierto control, o como mínimo, de la incorporación de responsabilidad.

Lo que he encontrado en mi trabajo, es que como hacemos tecnología actualmente es profundamente irresponsable. A ningún médico ni a ninguna empresa farmacéutica se le ocurriría pedirle a la sociedad poder lanzar medicamentos no testados. O lanzar medicamentos que dijeran: "Mira esto cura el constipado pero da cáncer".

No lo aceptaríamos. No se puede vender. Y en cambio en ingeniería informática se pide el derecho a lanzar cosas a la sociedad sin testarlas de ninguna manera, sin tener ningún tipo de conciencia de su impacto social.

La buena noticia es que creo que esto está empezando a cambiar. Que existan perfiles como el mío, con conocimientos en ciencia social, pero también en elementos técnicos de la matemática y de la física, muestra que empieza a haber interés por estas cosas. Cada vez hay más grupos de investigación y de trabajo en empresas, en universidades y en espacios público-privados que aúnan a sociólogos, filósofos, abogados, a físicos, matemáticos, ingenieros e informáticos para intentar entender cuáles son esos impactos legales, sociales y éticos de las tecnologías, que ayudan a dilucidar cuál es la deseabilidad y cómo aumentar esa deseabilidad de los productos que se quieren fabricar en el futuro.

Cada vez hay más grupos que trabajan en mejorar la transparencia y el control de los algoritmos, por ejemplo. La idea de los estudios de impacto está cada vez más extendida. De la misma forma que no podemos construir un nuevo desarrollo de infraestructuras, una nueva carretera, sin justificar su impacto ambiental, no deberíamos poder lanzar productos tecnológicos al mercado sin justificar antes que nos hemos planteado en algún momento qué impacto va a tener eso sobre la sociedad y si ese impacto es deseable o no, y si no es deseable, qué medidas hemos tomado para aumentar la deseabilidad de ese producto.

Ahora mismo muchísima gente estamos implicados en crear la innovación responsable del futuro, que creo que es muy necesaria. Y no obstante, se siguen oyendo voces que dicen constantemente que la prevención, ética y regulación van en contra de la innovación, que no podemos poner límites a la capacidad creadora de los hombres ingenieros y sus grandes ideas. Pues lo siento pero no es así.

Como humanidad, llevamos toda nuestra historia domesticando a la tecnología. ¿Un coche necesita un cinturón de seguridad para circular? No.

¿Un coche necesita un límite de velocidad? No. Los coches podrían ir muchísimo más rápido de lo que van por nuestras calles.

¿Un coche necesita pasos de cebra, semáforos, control de emisiones contaminantes? No. Todas estas cosas se las hemos añadido las sociedad humana, para asegurar que lo que es una innovación tecnológica deseable, que es un motor, algo que nos lleve de A a B de forma más rápida, sea también deseable desde la perspectiva social.

Hemos limitado las posibilidades de los coches, porque hemos entendido que queremos ir más rápido de A a B, pero no queremos que muera tanta gente en ese proceso. Eso lo hemos hecho siempre. Siempre hemos limitado las capacidades de la tecnología, porque la tecnología solo tiene sentido si mejora, si aborda las problemáticas sociales.

Y que desde la ingeniería informática se hayan olvidado tantas veces esa lógica es claramente preocupante. Al final lo que hemos hecho con el coche es tener debates a lo largo de mucho tiempo, el primero no tenía cinturón de seguridad, ni había semáforos, ni pasos de cebra. Pero durante mucho tiempo creamos esos marcos, como sociedad, esos consensos sociales que nos llevan a poder utilizar hoy los vehículos de forma normalizada.

Estos son los debates y consensos sociales que deben emerger alrededor de cualquier nueva tecnología. Debemos dilucidar cuando aparece un nuevo algoritmo, una nueva innovación tecnológica, un nuevo invento, debemos decidir entre todos cuáles van a ser los cinturones de seguridad, los límites de velocidad, los límites de emisiones, los pasos de cebra y los semáforos de esa nueva innovación. A eso se dedica la ética de la tecnología.

Primero a fomentar esos debates, para que entre todos decidamos si es mejor un control humano, o uno mecánico para cruzar una frontera, para tomar entre todos responsabilidad de las decisiones que tomamos en relación con la tecnología, y a partir de esa deseabilidad lo que vemos es cómo construir valores fundamentales, cohesión social, confianza, no discriminación, derechos humanos en las especificaciones técnicas. Porque no es solo un tema de dar discursos Hay formas a través de las especificaciones técnicas para hacer que las tecnologías respondan mucho mejor a las expectativas y deseos de la sociedad De la misma forma que hemos podido construir coches que maten menos, podemos construir tecnologías que no solo sean menos lesivas sino que contribuyan de forma definitiva a mejorar el futuro de nuestras sociedades En definitiva, de lo que se trata la ética de la tecnología es de poner a las personas en el centro del desarrollo tecnológico, y poner la tecnología al servicio de las personas. Y no como estamos ahora muchísimas veces, las personas al servicio de la tecnologías Gracias.