Uno de los retos más complejos de los Modelos Extensos de Lenguaje (LLM por sus siglas en inglés), tipo chat GPT, están relacionados con el sesgo de sus respuestas. Si los datos que son utilizados para entrenar los modelos son parciales o sesgados, los modelos pueden perpetuar y amplificar estos sesgos en las respuestas generadas.
En otras palabras: Estos modelos son tan buenos como los datos con los que son entrenados. Si los datos contienen sesgos, inexactitudes o información de baja calidad, los modelos pueden reflejar estas deficiencias y en última instancia, generar contenido problemático.
En general para resolver este reto podemos aplicar herramientas post- entrenamiento del modelo, en su proceso de afinamiento, si este fuera el camino a seguir aplicaríamos técnicas como RLHF (Reinforcement Learning From Human Feedback) o algoritmos como PPO (Proximal Policy Optimization), que buscan re-entrenar el modelo para hacerlo menos sesgado.
Otra aproximación menos compleja y costosa puede enfocarse en la cantidad, diversidad e integridad de los datos de entrenamiento para garantizar que estos modelos sean útiles y éticos. Más allá de la selección rigurosa de los datos, la calidad de los mismos o su revisión periódica un aspecto fundamental es la confianza en estas fuentes de datos.
La confiabilidad de las fuentes de datos es un pilar fundamental en la construcción de sistemas de IA que implementen el menor sesgo posible. Existe un creciente mercado por asegurar la confiabilidad de los datos para entrenamientos de modelos de IA y uno de los mecanismos más usados para la verificación y validación de estas fuentes de datos está relacionado con tecnologías de firma digital. Con el aumento de aplicaciones orientadas al entrenamiento y despliegue de modelos, se están comenzando a crear nuevos casos de uso para este tipo de herramientas que juegan un papel decisivo en la calidad de estos modelos de IA.