array ( 0 => 'index.php', 1 => 'PHP Manual', ), 'head' => array ( 0 => 'UTF-8', 1 => 'pt_BR', ), 'this' => array ( 0 => 'book.tokenizer.php', 1 => 'Tokenizer', 2 => 'Tokenizer', ), 'up' => array ( 0 => 'refs.basic.other.php', 1 => 'Outras Extensões Básicas', ), 'prev' => array ( 0 => 'function.tidy-warning-count.php', 1 => 'tidy_warning_count', ), 'next' => array ( 0 => 'tokenizer.setup.php', 1 => 'Instalação/Configuração', ), 'alternatives' => array ( ), 'source' => array ( 'lang' => 'pt_BR', 'path' => 'reference/tokenizer/book.xml', ), 'history' => array ( ), 'extra_header_links' => array ( 'rel' => 'alternate', 'href' => '/manual/en/feeds/book.tokenizer.atom', 'type' => 'application/atom+xml', ), ); $setup["toc"] = $TOC; $setup["toc_deprecated"] = $TOC_DEPRECATED; $setup["parents"] = $PARENTS; manual_setup($setup); contributors($setup); ?>

Tokenizer

Introdução

As funções de tokenizer formam uma interface para o tokenizer do PHP embutido no Motor Zend. Usando essas funções você pode escrever ferramentas próprias para análise e modificação de código PHP sem ter que lidar com a especificação da linguagem em um nível léxico.

Veja também o apêndice sobre tokens.