У вас была правильная идея, но вы должны определить комментарии как один терминал (т.е. не структуру), для производительности, а также чтобы вы могли их игнорировать.
COMMENT: "//" /[^\n]*/ NEWLINE
%ignore COMMENT
Пример грамматики:
from lark import Lark
g = r"""
!start: "hello"
COMMENT: "//" /[^\n]*/ _NEWLINE
_NEWLINE: "\n"
%ignore COMMENT
%ignore " "
"""
parser = Lark(g)
print(parser.parse("hello // World \n"))