У меня есть несколько миллионов файлов с C-подобным синтаксисом, написанным в пользовательской грамматике. У меня также есть лексер и парсер, написанный на Java для этого пользовательского языка, который переносится на C.
Мне нужно какое-то руководство в том, как разбирать и компилировать несколько миллионов этих файлов ежедневно.
Должен ли я пойти на рамки Spark / Pandas?
Это будет очень дорогая память?