NVIDIA NIM

Prerequisitos

  1. Inicia sesión o regístrate en Nvdia.

  2. Desde la barra de navegación superior, haz clic en NIM:

  1. Busca el modelo que te gustaría usar. Para descargarlo localmente, usaremos Docker:

  1. Sigue las instrucciones de la configuración de Docker. Primero debes obtener una API Key para descargar la imagen de Docker:

Flowise

  1. Chat Models > arrastra el nodo Chat NvdiaNIM

  1. Si estás usando un endpoint alojado en Nvdia, debes tener tu API key. Connect Credential > haz clic en Create New. Sin embargo, si estás usando una configuración local, esto es opcional.

  1. Ingresa el nombre del modelo y ¡voilà 🎉, tu nodo Nvdia NIM está listo para ser usado en Flowise!

Recursos

Last updated