diff --git a/py/builtinevex.c b/py/builtinevex.c
index fc3a601..ae82537 100644
--- a/py/builtinevex.c
+++ b/py/builtinevex.c
@@ -25,13 +25,16 @@
     // parse the string
     mp_parse_error_kind_t parse_error_kind;
     mp_parse_node_t pn = mp_parse(lex, parse_input_kind, &parse_error_kind);
-    mp_lexer_free(lex);
 
     if (pn == MP_PARSE_NODE_NULL) {
         // parse error; raise exception
-        nlr_raise(mp_parse_make_exception(parse_error_kind));
+        mp_obj_t exc = mp_parse_make_exception(lex, parse_error_kind);
+        mp_lexer_free(lex);
+        nlr_raise(exc);
     }
 
+    mp_lexer_free(lex);
+
     // compile the string
     mp_obj_t module_fun = mp_compile(pn, source_name, MP_EMIT_OPT_NONE, false);
     mp_parse_node_free(pn);