Añada el nombre de tokenizer y el nombre totalmente cualificado del archivo de clase para cada tokenizer que desee utilizar. Implemente la clase de tokenizer dentro de la clase
Después de la configuración, puede utilizar técnica de enmascaramiento de tokenization. Introduzca el nombre de tokenizer para especificar el algoritmo que utilizar cuando se crea una asignación.