Lexer

¿Cómo funciona un lexer?
El lexer simplemente convierte la cadena sin sentido en una lista plana de cosas como "literal de número", "literal de cadena", "identificador" u "ope...