O que so tokens E lexemas Exemplifique. Um Token em HYPERLINK http//pt.wikipedia.org/wiki/CiC3AAncia_da_computaC3A7C3A3o o Cincia da computao computao um segmento de texto ou smbolo que pode ser manipulado por um HYPERLINK http//pt.wikipedia.org/wiki/Parser o Parser analisador sintctico, que fornece um significado ao texto em outras palavras, um conjunto de HYPERLINK http//pt.wikipedia.org/wiki/Caractere o Caractere caracteres (de um HYPERLINK http//pt.wikipedia.org/wiki/Alfabeto o Alfabeto alfabeto, por exemplo) com um significado coletivo. Tokens so os padres que ocorrem em uma HYPERLINK http//pt.wikipedia.org/wiki/String o String string, por exemplo em uma data, 29/03/1991, poderia utilizar dois tokens para dividir a string em trs partes, utilizando a barra / como padro. Desse modo, qualquer data que for inserida poder ser dividida e analisada separadamente em dia, ms e ano. O mesmo pode ser feito com HYPERLINK http//pt.wikipedia.org/wiki/ExpressC3B5es_regulares o Expresses regulares expresses regulares, mas o mtodo de tokens utiliza muito menos processamento, e, portanto, mais rpido, apesar de no ser to robusto. Lexema uma parte de uma palavra que constitui a unidade mnima com HYPERLINK http//pt.wikipedia.org/wiki/Significado o Significado significado HYPERLINK http//pt.wikipedia.org/wiki/LC3A9xico o Lxico lexical. Na terminologia de HYPERLINK http//pt.wikipedia.org/w/index.phptitleAndrC3A9_Martinetactioneditredlink1 o Andr Martinet (pgina no existe) Andr Martinet, o HYPERLINK http//pt.wikipedia.org/wiki/Monema o Monema monema (unidade de primeira articulao) que contm significado lexical - em oposio ao HYPERLINK http//pt.wikipedia.org/wiki/Morfema o Morfema morfema, que contm significado HYPERLINK http//pt.wikipedia.org/wiki/GramC3A1tica o Gramtica gramatical. O que so expresses regulares expresso regular (ou o HYPERLINK http//pt.wikipedia.org/wiki/Estrangeirismo o Estrangeirismo estrangeirismo regex, abreviao do HYPERLINK