Как читать ссылки с id и записывать в выходной файл на python

Question

Я пытаюсь написать CSV-файл с URL-адресом и идентификатором, как во входном файле, но я не понимаю.

У меня ниже формат файла csv:

ID              Links
P51800010436    https://maharerait.mahaonline.gov.in/PrintPreview/PrintPreview/UHJvamVjdElEPTcxNzkmRGl2aXNpb249NiZVc2VySUQ9MzQ5MjAmUm9sZUlEPTEmQXBwSUQ9NzUzNjYmQWN0aW9uPVNFQVJDSCZDaGFyYWN0ZXJEPTI2JkV4dEFwcElEPQ%3d%3d
P51800001202    https://maharerait.mahaonline.gov.in/PrintPreview/PrintPreview/UHJvamVjdElEPTMxOTcmRGl2aXNpb249NiZVc2VySUQ9MjU5MjQmUm9sZUlEPTEmQXBwSUQ9MjM3MzQmQWN0aW9uPVNFQVJDSCZDaGFyYWN0ZXJEPTk3JkV4dEFwcElEPQ%3d%3d
P51800000150    https://maharerait.mahaonline.gov.in/PrintPreview/PrintPreview/UHJvamVjdElEPTY1NSZEaXZpc2lvbj02JlVzZXJJRD03MjU3JlJvbGVJRD0xJkFwcElEPTExOTY2JkFjdGlvbj1TRUFSQ0gmQ2hhcmFjdGVyRD04MSZFeHRBcHBJRD0%3d
P51800001785    https://maharerait.mahaonline.gov.in/PrintPreview/PrintPreview/UHJvamVjdElEPTU2NjUmRGl2aXNpb249NiZVc2VySUQ9MjgxODEmUm9sZUlEPTEmQXBwSUQ9MjY4NjcmQWN0aW9uPVNFQVJDSCZDaGFyYWN0ZXJEPTIxJkV4dEFwcElEPQ%3d%3d

Сценарий, который я пробовал:

from datetime import datetime
start_time = datetime.now()

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
import requests
import re

import csv

link = []
rera_id = []

with open('D:/TF_Vishnu/link_with_rera_id.csv', 'r') as f:
    reader = csv.reader(f, delimiter=',')

    for row in reader:
        rera_id.append(row[0])
        link.append(row[1])

for index, rera_id, url in enumerate(rera_id, link):

    df_url = pd.read_csv(pd.compat.StringIO(url), header=None)

    df_rera_id = pd.read_csv(pd.compat.StringIO(rera_id), header=None)

    html=requests.get(url).content

    soup=BeautifulSoup(html, 'lxml')

    if (soup.find(text="Other Than Individual") == "Other Than Individual"): 

        print ("Processing Other Than Individual Link.......")

        table = soup.find_all("table",{"class":"table table-bordered table-responsive table-striped"})[1]

        df_2 = pd.concat([df_rera_id, df_url, df, df_1], axis=1)

        df_2.to_csv('D:/scrape_data/test.csv', index=False, header=False, mode='a'))

Я хочу написать файл csv, используя панд как первый столбец- rera_id, вторая ссылка, третья информация, .... и т. д.

Пожалуйста, помогите и предложите что-нибудь.Приносим извинения за любую ошибку

Answer 1

Проблема в использовании enumerate встроенного.Второй (необязательный) параметр обрабатывается не как какой-то другой итерируемый объект, а как начальное значение перечисляющей переменной (index в вашем случае) - поэтому он ожидает и целое число.Вам лучше попробовать перечислить reader напрямую:

with open('D:/TF_Vishnu/link_with_rera_id.csv', 'r') as f:
    reader = csv.reader(f, delimiter=',')
    for index, (rera_id, url) in enumerate(reader):
        # Your code below

Надеюсь, это поможет!