Token Text Splitter
Divide una cadena de texto sin procesar primero convirtiendo el texto en tokens BPE, luego divide estos tokens en fragmentos y convierte los tokens dentro de un solo fragmento de vuelta a texto.
Last updated
Divide una cadena de texto sin procesar primero convirtiendo el texto en tokens BPE, luego divide estos tokens en fragmentos y convierte los tokens dentro de un solo fragmento de vuelta a texto.
Last updated