Скрипт Python, запускаемый из командной строки, не создающий CSV - PullRequest
Новая
       15

Скрипт Python, запускаемый из командной строки, не создающий CSV

0 голосов
/ 13 декабря 2018

Я новичок в Python и нахожусь в процессе очистки сайта для сбора информации инвентаризации.Предметы инвентаря размещены на 6 страницах сайта.Очистка прошла очень гладко, и я смог разобрать все элементы HTML, которые я хотел выбрать.

Сейчас я перехожу к следующему шагу и пытаюсь экспортировать его в файл csv с помощью csv.writer, включенного в Python 3. Сценарий запускается в моей командной строке без каких-либо синтаксических ошибок, ноCSV-файл не создается.Мне интересно, есть ли какие-либо очевидные проблемы с моим скриптом или что-то, что я, возможно, пропустил при попытке поместить проанализированные HTML-элементы в CSV-файл.

Вот мой код: 

import requests
import csv
from bs4 import BeautifulSoup

main_used_page = 'https://www.necarconnection.com/used-vehicles/'
page = requests.get(main_used_page)
soup = BeautifulSoup(page.text,'html.parser')

def get_items(main_used_page,urls):
    main_site = 'https://www.necarconnection.com/'
    counter = 0
    for x in urls:
        site = requests.get(main_used_page + urls[counter])
        soup = BeautifulSoup(site.content,'html.parser')
        counter +=1
        for item in soup.find_all('li'):
            vehicle = item.find('div',class_='inventory-post')
            image = item.find('div',class_='vehicle-image')
            price = item.find('div',class_='price-top')
            vin = item.find_all('div',class_='vinstock')

            try:
                url = image.find('a')
                link = url.get('href')
                pic_link = url.img
                img_url = pic_link['src']
                if 'gif' in pic_link['src']:img_url = pic_link['data-src']

                landing = requests.get(main_site + link)
                souped = BeautifulSoup(landing_page.content,'html.parser')
                comment = ''




                for comments in souped.find_all('td',class_='results listview'):
                    com = comments.get_text()
                    comment += com



                with open('necc-december.csv','w',newline='') as csv_file:
                    fieldnames = ['CLASSIFICATION','TYPE','PRICE','VIN',
                          'INDEX','LINK','IMG','DESCRIPTION']
                    writer = csv.DictWriter(csv_file,fieldnames=fieldnames)
                    writer.writeheader()
                    writer.writerow({
                        'CLASSIFICATION':vehicle['data-make'],
                        'TYPE':vehicle['data-type'],
                        'PRICE':price,
                        'VIN':vin,
                        'INDEX':vehicle['data-location'],
                        'LINK':link,
                        'IMG':img_url,
                        'DESCRIPTION':comment})

            except TypeError: None
            except AttributeError: None
            except UnboundLocalError: None

urls = ['']
counter = 0
prev = 0

for x in range(100):

    site = requests.get(main_used_page + urls[counter])
    soup = BeautifulSoup(site.content,'html.parser')

    for button in soup.find_all('a',class_='pages'):
        if button['class'] == ['prev']:
            prev +=1

        if button['class'] == ['next']:
            next_url = button.get('href')

        if next_url not in urls:
            urls.append(next_url)
            counter +=1

        if prev - 1 > counter:break


get_items(main_used_page,urls)

Вот скриншот того, что происходит после обработки сценария через командную строку:

command line return

Требуется некоторое время для запуска сценария, поэтому я знаю, чтоСкрипт читается и обрабатывается.Я просто не уверен, что происходит между этим и созданием файла CSV.

Надеюсь, это было полезно.Опять же, любые советы или рекомендации по работе с Python 3 csv.writer были бы очень полезны, поскольку я пробовал несколько различных вариантов.

1 Ответ

0 голосов
/ 13 декабря 2018

Я обнаружил, что ваш код, который пишет CSV работает нормально.Здесь он изолирован 

import csv

vehicle = {'data-make': 'Buick',
           'data-type': 'Sedan',
           'data-location': 'Bronx',
           }
price = '8000.00'
vin = '11040VDOD330C0D0D003'
link = 'https://www.necarconnection.com/someplace'
img_url = 'https://www.necarconnection.com/image/someimage'
comment = 'Fine Car'

with open('necc-december.csv','w',newline='') as csv_file:
    fieldnames = ['CLASSIFICATION','TYPE','PRICE','VIN',
                  'INDEX','LINK','IMG','DESCRIPTION']
    writer = csv.DictWriter(csv_file,fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({
        'CLASSIFICATION':vehicle['data-make'],
        'TYPE':vehicle['data-type'],
        'PRICE':price,
        'VIN':vin,
        'INDEX':vehicle['data-location'],
        'LINK':link,
        'IMG':img_url,
        'DESCRIPTION':comment})

Создает штраф necc-de December.csv: 

CLASSIFICATION,TYPE,PRICE,VIN,INDEX,LINK,IMG,DESCRIPTION
Buick,Sedan,8000.00,11040VDOD330C0D0D003,Bronx,https://www.necarconnection.com/someplace,https://www.necarconnection.com/image/someimage,Fine Car

Я думаю, что проблема в том, что код не находит никаких кнопок с class = 'next'

Чтобы запустить ваш код, мне пришлось инициализировать next_url 

next_url = None

, а затем изменить ваше условие с 

if next_url not in urls:

на 

If next_url and next_url not in urls:

Я добавил отладку внутри вашего цикла for: 

for button in soup.find_all('a',class_='pages'):
    print ('button:', button)

и получил такой вывод: 

button: <a class="pages current" data-page="1" href="javascript:void(0);">1</a>
button: <a class="pages" data-page="2" href="javascript:void(0);">2</a>
button: <a class="pages" data-page="3" href="javascript:void(0);">3</a>
button: <a class="pages" data-page="4" href="javascript:void(0);">4</a>
button: <a class="pages" data-page="5" href="javascript:void(0);">5</a>
button: <a class="pages" data-page="6" href="javascript:void(0);">6</a>
button: <a class="pages current" data-page="1" href="javascript:void(0);">1</a>
button: <a class="pages" data-page="2" href="javascript:void(0);">2</a>
button: <a class="pages" data-page="3" href="javascript:void(0);">3</a>
button: <a class="pages" data-page="4" href="javascript:void(0);">4</a>
button: <a class="pages" data-page="5" href="javascript:void(0);">5</a>
button: <a class="pages" data-page="6" href="javascript:void(0);">6</a>

Так что не было кнопок с class = 'next'.

...