Explorar

Desafíos y Riesgos

Adoptar la IA en la educación no está libre de desafíos significativos. La integridad académica, la privacidad de datos, el sesgo algorítmico y la brecha digital requieren estrategias proactivas y reflexivas.

La integridad académica es quizás el desafío más inmediato. Con la IA generativa capaz de producir ensayos, resolver problemas y generar código, los métodos de evaluación tradicionales enfrentan una crisis existencial. Las instituciones deben evolucionar más allá de los enfoques basados en detección hacia el rediseño de evaluaciones.

Las preocupaciones sobre privacidad y seguridad de datos son fundamentales cuando se trata de datos estudiantiles, especialmente de menores. Los sistemas de IA requieren grandes cantidades de datos para funcionar eficazmente, creando tensión entre personalización y privacidad.

El sesgo algorítmico plantea serias preocupaciones de equidad. Los sistemas de IA entrenados con datos sesgados pueden perpetuar y amplificar las desigualdades existentes en la educación. Además, la brecha digital significa que los beneficios de la IA pueden fluir desproporcionadamente hacia comunidades ya privilegiadas.

El desafío que nadie lista: evitar el esfuerzo

Integridad, privacidad y sesgo son los tres riesgos que aparecen en toda lista, y merecen estar. El que queda fuera es más silencioso y, creemos, mayor: una tecnología que elimina dificultad se usará para eliminar dificultad, incluida la dificultad que estaba haciendo el trabajo. No se viola nada. No se rompe ninguna norma. Simplemente se llega al final de la tarea sin haber sido transformado por ella.

Esto no es un problema de disciplina y no tiene solución disciplinaria. Es un problema de diseño: si una tarea puede completarse sin comprender, se completará sin comprender, y probablemente ya era una tarea débil antes de que existiera la IA. Véase No hay atajos hacia el dominio y La inteligencia es un músculo.

La integridad es una cuestión de diseño de la evaluación

Los detectores no son confiables, y sus fallos no se reparten por igual: la escritura de quienes aprenden en una segunda lengua se marca de forma desproporcionada, lo que convierte una política de integridad en un problema de equidad. La respuesta duradera es cambiar lo que se pide, no escalar la vigilancia: trabajos defendidos en persona, borradores visibles, producciones apoyadas en material propio del estudiante, evaluación del proceso y no solo del producto.

Nuestro trabajo de evaluación es en buena medida esto, y el simulador de ética permite a un equipo ensayar las decisiones concretas —un caso sospechado, un reclamo de una familia, una detección discutida— antes de que una de ellas caiga sobre un escritorio un viernes a las cuatro de la tarde.

Privacidad: las preguntas que hay que hacer antes de firmar

Los datos del estudiantado, y en particular los de menores de edad, cargan obligaciones que la compra habitual de herramientas de aula nunca fue diseñada para verificar. Tres preguntas resuelven casi todo: ¿lo que se introduce aquí entrena algún modelo?; ¿dónde se almacena y bajo qué jurisdicción?; ¿puede borrarse a solicitud, de hecho y no solo en la política? Un proveedor que no puede responder las tres por escrito ya las respondió.

Cuando hay un marco legal de por medio, las obligaciones suelen ser más específicas de lo que sugiere la orientación general. Nuestra formación de educadores sobre el Código Penal dominicano es el ejemplo trabajado por completo: los artículos reales, lo que le exigen a un centro educativo y lo que no, con un informe de auditoría público de su propia revisión.

Sesgo, y la deriva que no se ve

Un modelo reproduce los patrones de aquello con lo que fue entrenado, y en educación esos patrones deciden a quién se marca como en riesgo, qué escritura se lee como competente y qué nombre se escribe bien. Hay un fallo emparentado, más sutil, que afecta a todo el mundo por igual: los modelos producen datos específicos seguros, bien formateados y enteramente inventados —citas, estadísticas, estudios con nombre— que sobreviven la revisión porque se parecen exactamente a los verdaderos.

Nos ha pasado, y publicamos el episodio en vez de corregirlo en silencio: La infografía que no publiqué. La regla de trabajo en este sitio es que una afirmación va con fuente, o va en lenguaje direccional, o no va.

Y un desafío que conviene poner en proporción

La escritura, la imprenta, la calculadora de bolsillo, el bolígrafo, la televisión, internet, Wikipedia y el teléfono inteligente iban, cada uno en su momento, a destruir el aprendizaje. El patrón está documentado en El pánico recurrente. Nombrarlo no descarta los riesgos anteriores: sirve para mantener la conversación sobre los riesgos que sí son específicos de esta tecnología, que ya dan bastante trabajo.