Я новичок в веб-проверке - я настроил цикл для удаления с 37900 записей. Из-за способа настройки URL / сервера в каждом URL отображается ограничение в 200 записей. Каждый URL заканчивается 'skip = 200' или кратным 200, чтобы перейти к следующей странице URL, где отображаются следующие 200 записей. В конце концов я хочу просмотреть все URL-адреса и добавить их в таблицу.
Я создал два цикла, как показано ниже - один для создания URL-адресов с пропуском = каждые 200 записей, а другой - для получения ответа на каждый из этихURL, затем добавьте их в один фрейм данных.
Однако я столкнулся с ошибкой в моем последнем URL и не могу добавить эти файлы в один фрейм данных.
"The query specified in the URI is not valid. Invalid value 'i37800' for $skip query option found. The $skip query option requires a non-negative integer value."
Отредактировано: после удаленияi после 'skip =' в моем URL, второй цикл выдает мне эту ошибку
TypeError: 'list' object is not callable
Когда я высовываю этот URL https://~/Projects?&$skip=37800 записи отображаются правильно, поэтому я не уверенпочему питон бросил мне эту ошибку. Пожалуйста, смотрите ниже мои коды - Буду признателен за любые предложения, чтобы исправить эту ошибку и циклы!
Спасибо!
import pandas as pd
import requests
import json
records = range(37900)
skip = records[0::200]
Page = []
for i in skip:
endpoint = "https://~/Projects?&$skip=i{}".format(i)
Page.append(endpoint)
tbls = []
for j in Page():
response = session.get(j) #session here refers to requests.Session() I had to set up to authenticate my access to these urls
responsejs = response.json()
responsepd = pd.DataFrame(responsejs['value']) #I only want to extract header called 'value' in each json
tbls.append(responsepd)