LocalAI Embeddings

Configuración de LocalAI

LocalAI es un reemplazo directo de REST API que es compatible con las especificaciones de OpenAI API para inferencia local. Te permite ejecutar LLMs (y no solo eso) localmente o en las instalaciones con hardware de grado consumidor, soportando múltiples familias de modelos que son compatibles con el formato ggml.

Para usar LocalAI Embeddings dentro de Flowise, sigue los pasos a continuación:

1. Copy

   git clone https://github.com/go-skynet/LocalAI

2. Copy

   cd LocalAI

3. LocalAI proporciona un endpoint de API para descargar/instalar el modelo. En este ejemplo, vamos a usar el modelo BERT Embeddings:

1. En la carpeta /models, deberías poder ver el modelo descargado:

1. Ahora puedes probar los embeddings:

curl http://localhost:8080/v1/embeddings -H "Content-Type: application/json" -d '{
    "input": "Test",
    "model": "text-embedding-ada-002"
  }'

1. La respuesta debería verse así:

Configuración de Flowise

Arrastra y suelta un nuevo componente LocalAIEmbeddings al lienzo:

Completa los campos:

• Base Path: La URL base de LocalAI, por ejemplo http://localhost:8080/v1

• Model Name: El modelo que quieres usar. Ten en cuenta que debe estar dentro de la carpeta /models del directorio de LocalAI. Por ejemplo: text-embedding-ada-002

¡Eso es todo! Para más información, consulta la documentación de LocalAI.