как скачать файл .csv с помощью API Endpoint в pandas

Question

Я хочу загрузить CSV-файл с конечной точки API с помощью pandas.Я использую следующий код:

df=pd.read_csv('https://data.cityofnewyork.us/resource/nu7n-tubp.csv').

Однако итоговый фрейм данных содержит только 1000 строк, хотя набор данных намного больше (около 121 тыс. Строк).Как я могу скачать все строки?

Я пытался указать число больше 1000 с помощью nrows, но получаю тот же результат.

Answer 1

Сократ обычно требует от вас для пролистывания данных, которые установлены в 1000 строк. Вы можете изменить его, увеличив его, используя $limit параметр . На основе страницы набора данных это около 122 тыс. Строк, поэтому можно использовать ограничение в 130 тыс., Чтобы получить их все:

df=pd.read_csv('https://data.cityofnewyork.us/resource/nu7n-tubp.csv?$limit=130000')

Вы также можете изучить библиотеку SodaPy .