ChatLocalAI
Last updated
Last updated
es una API REST de reemplazo compatible con las especificaciones de la API de OpenAI para inferencia local. Te permite ejecutar LLMs (y no solo eso) localmente o en las instalaciones con hardware de grado consumidor, soportando múltiples familias de modelos que son compatibles con el formato ggml.
Para usar ChatLocalAI dentro de Flowise, sigue los pasos a continuación:
Por ejemplo:
Descarga uno de los modelos desde
En la carpeta /models
, deberías poder ver el modelo descargado:
Ahora la API es accesible en localhost:8080
Arrastra y suelta un nuevo componente ChatLocalAI al lienzo:
Completa los campos:
Model Name: El modelo que quieres usar. Ten en cuenta que debe estar dentro de la carpeta /models
del directorio de LocalAI. Por ejemplo: ggml-gpt4all-j.bin
Mira cómo puedes usar LocalAI en Flowise:
Consulta la lista de modelos soportados.
Base Path: La URL base de LocalAI como
Si estás ejecutando tanto Flowise como LocalAI en Docker, es posible que necesites cambiar la ruta base a . Para sistemas basados en Linux, se debe usar el gateway predeterminado de docker ya que host.docker.internal no está disponible:
¡Eso es todo! Para más información, consulta la de LocalAI.