¿Qué es el aprendizaje por transferencia?

El aprendizaje por transferencia es un método de aprendizaje automático que usa un modelo entrenado en una tarea para mejorar el aprendizaje en otra tarea. Pan y Yang lo definen con un dominio y una tarea de origen, y un dominio y una tarea de destino. El dominio o la tarea difieren.

Cómo funciona

Primero se entrena un modelo con un gran conjunto de datos de origen. En los modelos de imágenes suele ser ImageNet, que tiene unos 1,2 millones de imágenes de entrenamiento en 1 000 clases. Después el modelo se reutiliza para la tarea nueva, que tiene menos datos etiquetados. Hay dos formas habituales de reutilizarlo:

• Extracción de características. Se quita la última capa de clasificación, se mantiene el resto congelado y se entrena un nuevo clasificador lineal sobre la salida.
• Ajuste fino. Se sustituye el clasificador y se continúa el entrenamiento de algunas o de todas las capas preentrenadas. Los pesos preentrenados reciben una tasa de aprendizaje menor que el nuevo clasificador.

Pocos equipos entrenan una red completa desde cero, porque los conjuntos de datos grandes son escasos. Para un conjunto de destino pequeño que se parece a los datos de origen, los apuntes de la CS231n de Stanford recomiendan la extracción de características. Un conjunto de destino grande permite el ajuste fino de toda la red.

Por qué se transfieren las características

Yosinski y coautores lo probaron capa por capa. Las características de la primera capa, como las manchas de color, son generales. Las capas posteriores son más específicas de la tarea de origen. Cuanto más difiere la tarea de destino de la de origen, menos se transfieren las características. Partir de pesos transferidos puede seguir ayudando después del ajuste fino.

Backbones autosupervisados

Un backbone no necesita etiquetas para ser útil. DINOv3, de Meta AI, se entrena sin etiquetas manuales con un conjunto curado de 1 689 millones de imágenes. Su modelo más grande tiene 7 000 millones de parámetros. Los autores indican que da buenos resultados en muchas tareas sin ajuste fino, y que en la mayoría de sus pruebas el backbone se mantiene congelado. Véase también la página de DINOv3 de este glosario.

Inspección de aeródromos

Las encuestas del índice de condición del pavimento (PCI) se realizan según la ASTM D5340, como indica la AC 150/5380-7B de la FAA. La circular no menciona el aprendizaje automático. Un modelo construido con aprendizaje por transferencia solo puede encontrar defectos en imágenes. No cambia el método de la encuesta.