PHP очищает динамически загружаемый контент

Question

Я пытаюсь очистить веб-сайт для заголовков статей, однако эта страница загружает только пять первых заголовков и загружает больше, когда пользователь прокручивает страницу вниз (JSON вызывает больше статей и вставляет на страницу).

Веб-скребок, который я построил, работает отлично, но находит только первые 5 статей по умолчанию, и я пытаюсь достичь того, чтобы загрузить более 5. Есть ли способ добиться этого с помощью PHP, и если вы можете объяснить мне, почему /как это работает, я был бы очень признателен, потому что я люблю изучать эти вещи.

Answer 1

вы можете использовать сетевой монитор chrome для регистрации источника запросов ajax, а затем запрашивать их у вашего веб-мастера, но это действительно "make shift api", и он будет тормозить, если сайт изменяет свой формат json, вы можете использоватьФункция php json_decode для декодирования json.

• http://php.net/manual/en/function.json-decode.php

, чтобы сначала получить данные, вам придется использовать file_get_contents

• http://php.net/manual/en/function.file-get-contents.php

но это разрешит только GET. Если вам нужны более «продвинутые» опции (например, POST), вам придется заглянуть в cURL

• http://php.net/manual/en/book.curl.php