¿Qué es FAISS?

FAISS es una biblioteca de código abierto que busca en un conjunto de vectores densos los vectores más cercanos a un vector de consulta. El nombre significa Facebook AI Similarity Search. El proyecto escribe el nombre como “Faiss”.

Qué hace

Un vector denso es una lista de números de longitud fija. Una red neuronal puede convertir una imagen o un texto en un vector de este tipo, lo que se llama embedding. FAISS guarda muchos vectores en un índice. Dado un vector de consulta, devuelve los vectores más cercanos y sus distancias. Compara vectores con la distancia L2 (euclidiana) o con el producto escalar. También admite la similitud coseno, que es el producto escalar de vectores normalizados.

El grupo Fundamental AI Research de Meta desarrolla FAISS. La biblioteca está escrita en C++ y tiene interfaces para Python. Algunos algoritmos también se ejecutan en una GPU.

Tipos de índice

El tipo de índice fija el equilibrio entre velocidad y exactitud.

• IndexFlatL2 e IndexFlatIP comparan la consulta con cada vector, por eso el resultado es exacto. IndexFlatIP usa el producto interno. Con vectores normalizados da la similitud coseno.
• IndexIVFFlat divide los vectores en nlist celdas. Una consulta examina solo nprobe de ellas. Es más rápido, pero el vecino más cercano puede quedar fuera si su celda no se examina.
• IndexHNSWFlat recorre un grafo jerárquico de los vectores (hierarchical navigable small world graph).
• IndexIVFPQ añade cuantización por producto, que guarda cada vector en forma comprimida.

La mayoría de los índices deben entrenarse con vectores de ejemplo antes de usarse. IndexFlatL2 no necesita entrenamiento.

Escala

FAISS puede buscar en conjuntos de vectores que no caben en la RAM. En el artículo de 2017, los autores construyeron un grafo de vecinos más cercanos de 1 000 millones de vectores en menos de 12 horas con 4 GPU.