Token Text Splitter

Divide una cadena de texto sin procesar primero convirtiendo el texto en tokens BPE, luego divide estos tokens en fragmentos y convierte los tokens dentro de un solo fragmento de vuelta a texto.

Nodo Token Text Splitter

Esta sección está en desarrollo. Agradecemos cualquier ayuda que puedas proporcionar para completar esta sección. Por favor, consulta nuestra Guía de Contribución para comenzar.