Комментарии в строке и строки в комментариях

Question

Я пытаюсь подсчитать символы в комментариях, включенных в код C, используя Python и Regex, но безуспешно. Я могу сначала удалить строки, чтобы избавиться от комментариев в строках, но это также удалит строки в комментариях, и результат будет плохим. Есть ли шанс спросить с помощью регулярных выражений, чтобы они не соответствовали строкам в комментариях или наоборот?

Answer 1

Нет, не совсем.

Regex не является правильным инструментом для анализа вложенных структур, как вы описываете; вместо этого вам нужно будет проанализировать синтаксис C (или «тупое подмножество» того, что вас интересует, в любом случае), и вы можете найти в этом регулярное выражение. Это сделал бы относительно простой конечный автомат с тремя состояниями (CODE, STRING, COMMENT).

Answer 2

Вы можете удалить все строки, которых нет в комментариях, выполнив поиск по регулярному выражению:

'[^'\r\n]+'|(//.*|/\*(?s:.*?)\*/)

и заменить на:

$1

По сути, это ищет регулярное выражение string|(comment), которое соответствует строке или комментарию, захватывая комментарий. Замена либо ничего, если строка соответствует, или комментарий, если комментарий был найден.

Хотя регулярные выражения не являются заменой для реального парсера, вы можете быстро создать элементарный парсер, создав гигантское регулярное выражение, которое чередует все интересующие вас токены (в данном случае комментарии и строки). Если вы пишете немного кода для обработки комментариев, но не в строках, выполните итерацию по всем совпадениям приведенного выше регулярного выражения и подсчитайте символы в первой группе захвата, если она участвовала в совпадении.

Answer 3

Регулярные выражения не всегда являются заменой для реального парсера .