Les fonctions tokenizer fournissent une interface au tokenizer PHP interne au moteur Zend. Par l'utilisation de ces fonctions, vous pouvez écrire vos propres outils PHP d'analyse ou de modifications, sans avoir à vous soucier de la spécification du langage au niveau lexical.
Voir aussi l'appendice sur les tokens.