Streaming

Aprende cómo funciona el streaming en Flowise

Si el streaming está configurado al hacer una predicción, los tokens se enviarán como eventos del servidor de solo datos (server-sent events) a medida que estén disponibles.

Usando la Biblioteca Python/TS

Flowise proporciona 2 bibliotecas:

• Python: pip install flowise

• Typescript: npm install flowise-sdk

Python

from flowise import Flowise, PredictionData

def test_streaming():
    client = Flowise()

    # Prueba de predicción con streaming
    completion = client.create_prediction(
        PredictionData(
            chatflowId="<chatflow-id>",
            question="¡Cuéntame un chiste!",
            streaming=True
        )
    )

    # Procesa e imprime cada fragmento transmitido
    print("Respuesta en streaming:")
    for chunk in completion:
        # {event: "token", data: "hola"}
        print(chunk)


if __name__ == "__main__":
    test_streaming()

Typescript

cURL

event: token
data: Había una vez...

El flujo de eventos de una predicción consiste en los siguientes tipos de eventos:

Evento	Descripción
start	El inicio del streaming
token	Emitido cuando la predicción está transmitiendo un nuevo token de salida
error	Emitido cuando la predicción devuelve un error
end	Emitido cuando la predicción finaliza
metadata	Todos los metadatos como chatId, messageId, del flujo relacionado. Emitido después de que todos los tokens han terminado de transmitirse, y antes del evento end
sourceDocuments	Emitido cuando el flujo devuelve fuentes del almacén de vectores
usedTools	Emitido cuando el flujo utilizó herramientas

Aplicación Streamlit

https://github.com/HenryHengZJ/flowise-streamlit