парсинг файла robots.txt с использованием c ++

Question

есть ли какая-нибудь библиотека для разбора robots.txt, и если ее не существует, как я могу написать ее на c ++ с boost regex?

Answer 1

Ознакомьтесь с examples в библиотеке Boost Regex.Если вы измените свой вопрос, чтобы лучше понять, что именно вы ищете в файле robots.txt, кто-нибудь может помочь вам с синтаксисом Regex.

Например, если вы пытаетесь найти именаиз всех User-агентов в файле вы можете использовать такое выражение.

boost::regex expression("^User-agent:\s*(.*)");