Un conjunto de tokens contiene expresiones que identifican tokens específicos. Puede utilizar conjuntos de tokens en transformaciones de analizador que utilizan el modo de análisis de tokens.
Emplee los conjuntos de tokens para identificar tokens como parte de las operaciones de análisis. Por ejemplo, puede utilizar un conjunto de tokens para analizar todas las direcciones de correo electrónico que utilizan un formato "AccountName@DomainName".