ChatLocalAI
Configuración de LocalAI
LocalAI es una API REST de reemplazo compatible con las especificaciones de la API de OpenAI para inferencia local. Te permite ejecutar LLMs (y no solo eso) localmente o en las instalaciones con hardware de grado consumidor, soportando múltiples familias de modelos que son compatibles con el formato ggml.
Para usar ChatLocalAI dentro de Flowise, sigue los pasos a continuación:
git clone https://github.com/go-skynet/LocalAI
cd LocalAI
# copia tus modelos a models/ cp your-model.bin models/
Por ejemplo:
Descarga uno de los modelos desde gpt4all.io
# Descarga gpt4all-j a models/
wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j
En la carpeta /models
, deberías poder ver el modelo descargado:

Consulta aquí la lista de modelos soportados.
docker compose up -d --pull always
Ahora la API es accesible en localhost:8080
# Prueba la API
curl http://localhost:8080/v1/models
# {"object":"list","data":[{"id":"ggml-gpt4all-j.bin","object":"model"}]}
Configuración en Flowise
Arrastra y suelta un nuevo componente ChatLocalAI al lienzo:

Completa los campos:
Base Path: La URL base de LocalAI como http://localhost:8080/v1
Model Name: El modelo que quieres usar. Ten en cuenta que debe estar dentro de la carpeta
/models
del directorio de LocalAI. Por ejemplo:ggml-gpt4all-j.bin
¡Eso es todo! Para más información, consulta la documentación de LocalAI.
Mira cómo puedes usar LocalAI en Flowise:
Last updated