All Packages  Class Hierarchy  This Package  Previous  Next  Index

Class it.unipi.di.compiler.tokenizer.Tokenizer

java.lang.Object
   |
   +----java.io.StreamTokenizer
           |
           +----it.unipi.di.compiler.tokenizer.Tokenizer

public abstract class Tokenizer

extends StreamTokenizer

Classe base per un tokenizer. Per utilizzare questa classe è sufficiente derivare una nuova classe da questa istanziando l'array tokens contenente la definizone dei token da riconoscere. Il valore contenuto in tval se ttype == TT_TOK corrisponde all'indice tel token nell'array. Si consiglia di definire costanti simboliche da associare ai token.

Version:

1.0

Author:

Antonio Cisternino

See Also:

StreamTokenizer

filter

Caratteri da filtrare.

tokens

Array dei token riconosciuti dal Tokenizer.

trimKeywords

Se true il match delle keywords viene effettuato previa appliocazione di trim() alla stringa da matchare.

TT_TOK

Costante restituita in ttype e da nextToken per segnalare un token riconosciuto.

tval

Indice del token riconosciuto nell'array tokens.

Tokenizer(InputStream)

Costruttore del Tokenizer. Deprecated.

Tokenizer(InputStream, String)

Costruttore del Tokenizer. Deprecated.

Tokenizer(Reader)

Costruttore del Tokenizer.

Tokenizer(Reader, String)

Costruttore del Tokenizer.

match()

Controlla che la stringa in sval sia un token.

nextToken()

Riconosce il token successivo.

parseNumbers()

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

quoteChar(int)

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

registerKeywords(SymbolTable)

Registra le parole chiave riconosciute dal Tokenizer.

setOrdinary()

Mette ordinary i caratteri del filtro.

setTrimKeywords(boolean)

Dice se effettuare il trim del token prima di verificare che sia una keyword.

whitespaceChars(int, int)

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

wordChars(int, int)

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

 public static final int TT_TOK

Costante restituita in ttype e da nextToken per segnalare un token riconosciuto.

See Also:

ttype, nextToken

 public int tval

Indice del token riconosciuto nell'array tokens.

See Also:

nextToken, tokens

 protected static String tokens[]

Array dei token riconosciuti dal Tokenizer. Nelle classi derivate va ridefinito l'array per aggiungere token al linguaggio.

 private String filter

Caratteri da filtrare.

 private boolean trimKeywords

Se true il match delle keywords viene effettuato previa appliocazione di trim() alla stringa da matchare.

 public Tokenizer(InputStream is,
                  String f)

Note: Tokenizer() is deprecated.

Costruttore del Tokenizer. Inizializza il Tokenizer ponendo i caratteri della stringa come ordinari.

Parameters:

is - InputStream da utilizzare per leggere i caratteri.

f - Stringa che contiene i caratteri da filtrare per identificare come token singoli.

 public Tokenizer(Reader r,
                  String f)

Costruttore del Tokenizer. Inizializza il Tokenizer ponendo i caratteri della stringa come ordinari.

Parameters:

r - Reader da utilizzare per leggere i caratteri.

f - Stringa che contiene i caratteri da filtrare per identificare come token singoli.

 public Tokenizer(InputStream i)

Note: Tokenizer() is deprecated.

Costruttore del Tokenizer. Invoca il costruttore dello StreamTokenizer.

Parameters:

i - InputStream da utilizzare per leggere i caratteri.

See Also:

StreamTokenizer

 public Tokenizer(Reader r)

Costruttore del Tokenizer. Invoca il costruttore dello StreamTokenizer.

Parameters:

r - Reader da utilizzare per leggere i caratteri.

See Also:

StreamTokenizer

 private boolean match()

Controlla che la stringa in sval sia un token. Se il token viene riconosciuto ttype viene posto a TT_TOK e tval viene aggiornato con l'indice dell'array tokens in cui è contenuto il token.

Returns:

Restituisce true se sval viene riconosciuto come token, false altrimenti.

 public int nextToken() throws IOException

Riconosce il token successivo. Se il token è uno di quelli contenuti nell'array tokens viene restituito il valore TT_TOK.

Returns:

Restituisce il tipo del token.

Overrides:

nextToken in class StreamTokenizer

 public void registerKeywords(SymbolTable st)

Registra le parole chiave riconosciute dal Tokenizer.

Parameters:

st - Symbol table a cui aggiungere le keywords.

See Also:

SymbolTable

 private void setOrdinary()

Mette ordinary i caratteri del filtro.

 public void parseNumbers()

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

Overrides:

parseNumbers in class StreamTokenizer

 public void quoteChar(int ch)

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

Overrides:

quoteChar in class StreamTokenizer

 public void whitespaceChars(int low,
                             int hi)

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

Overrides:

whitespaceChars in class StreamTokenizer

 public void wordChars(int low,
                       int hi)

Chiama la corrispondente funzione del Tokenizer compatibilmente con i caratteri del filtro.

Overrides:

wordChars in class StreamTokenizer

 public void setTrimKeywords(boolean trim)

Dice se effettuare il trim del token prima di verificare che sia una keyword. Per default questo servizio è disabilitato.

All Packages  Class Hierarchy  This Package  Previous  Next  Index