lex.dcl

   1 definition module lex
   2
   3 from Data.Either import :: Either
   4 from yard import :: Error
   5
   6 :: Token = {
   7         line :: Int,
   8         column :: Int,
   9         token :: TokenValue}
  10 :: TokenValue
  11         //Value tokens
  12         = IdentToken String // Identifier
  13         | NumberToken Int   // Integer
  14         | CharToken Char    // Character literal
  15         //Keyword tokens
  16         | VarToken          // var keyword
  17         | ReturnToken       // return keyword
  18         | IfToken           // if keyword
  19         | ElseToken         // else keyword
  20         | WhileToken        // while keyword
  21         | TrueToken         // True keyword
  22         | FalseToken        // False keyword
  23         | VoidToken         // Void keyword
  24         | IntTypeToken      // Int keyword
  25         | CharTypeToken     // Char keyword
  26         | BoolTypeToken     // Bool keyword
  27         //Two character tokens
  28         | DoubleColonToken  // ::
  29         | NotEqualToken     // !=
  30         | LesserEqToken     // <=
  31         | GreaterEqToken    // >=
  32         | EqualsToken       // ==
  33         | AmpersandsToken   // &&
  34         | PipesToken        // ||
  35     | ArrowToken        // ->
  36         | EmptyListToken        // []
  37         //One character tokens
  38         | BraceOpenToken    // (
  39         | BraceCloseToken   // )
  40         | CBraceOpenToken   // {
  41         | CBraceCloseToken  // }
  42         | SquareOpenToken   // [
  43         | SquareCloseToken  // ]
  44         | CommaToken        // ,
  45         | ColonToken        // :
  46         | SColonToken       // ;
  47         | DotToken          // .
  48         | PlusToken         // +
  49         | DashToken         // -
  50         | StarToken         // *
  51         | SlashToken        // /
  52         | PercentToken      // %
  53         | AssignmentToken   // =
  54         | LesserToken       // <
  55         | BiggerToken       // >
  56         | ExclamationToken  // !
  57         //Special tokens
  58         | EndOfFileToken    // EOF
  59
  60 :: LexerOutput :== Either Error [Token]
  61
  62 lexer :: [Char] -> LexerOutput