невозможно зациклить последний URL с пределами подкачки - PullRequest
1 голос
/ 22 октября 2019

Я новичок в веб-проверке - я настроил цикл для удаления с 37900 записей. Из-за способа настройки URL / сервера в каждом URL отображается ограничение в 200 записей. Каждый URL заканчивается 'skip = 200' или кратным 200, чтобы перейти к следующей странице URL, где отображаются следующие 200 записей. В конце концов я хочу просмотреть все URL-адреса и добавить их в таблицу.

Я создал два цикла, как показано ниже - один для создания URL-адресов с пропуском = каждые 200 записей, а другой - для получения ответа на каждый из этихURL, затем добавьте их в один фрейм данных.

Однако я столкнулся с ошибкой в ​​моем последнем URL и не могу добавить эти файлы в один фрейм данных.

"The query specified in the URI is not valid. Invalid value 'i37800' for $skip query option found. The $skip query option requires a non-negative integer value."

Отредактировано: после удаленияi после 'skip =' в моем URL, второй цикл выдает мне эту ошибку

TypeError: 'list' object is not callable

Когда я высовываю этот URL https://~/Projects?&$skip=37800 записи отображаются правильно, поэтому я не уверенпочему питон бросил мне эту ошибку. Пожалуйста, смотрите ниже мои коды - Буду признателен за любые предложения, чтобы исправить эту ошибку и циклы!

Спасибо!

import pandas as pd
import requests
import json

records = range(37900)
skip = records[0::200]

Page = []
for i in skip:
    endpoint = "https://~/Projects?&$skip=i{}".format(i)
    Page.append(endpoint)

tbls = []
for j in Page():
    response = session.get(j) #session here refers to requests.Session() I had to set up to authenticate my access to these urls
    responsejs = response.json()
    responsepd = pd.DataFrame(responsejs['value']) #I only want to extract header called 'value' in each json
    tbls.append(responsepd)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...