Python - множественный разбор HTML-страницы в один файл TXT - PullRequest
Новая
       10

Python - множественный разбор HTML-страницы в один файл TXT

0 голосов
/ 12 июня 2011

Я пытаюсь проанализировать конкретный контент из числа X файлов HTML в один файл TXT.

Я грязно кодировал следующее: 

#!/usr/bin/python
import sys, mechanize, BeautifulSoup

def parsedata():
    ##do stuff
    prvitekst = soup.find(text='Random Number')
    prvikesh = prvitekst.findNextSiblings('td')
    drugitekst = soup.find(text='Random Month/Yeare')
    drugikesh = drugitekst.findNextSiblings('td')
    trechitekst = soup.find(text='Small Random Number')
    trechikesh = trechitekst.findNextSiblings('td')

    content = prvikesh + ";" + drugikesh + ";" + trechikesh + ";"
    writeFile(content);

def readFile(id):
    fi = open('result/page-%s.html' % id, 'r');

def writeFile(content):
    f = open('parsed.txt', 'a')
    f.write(content,"\n")
    f.close();

def main(start): 
    ##initialize vars
    id = int(start)
    page = readFile(id)
    soup = BeautifulSoup(page)
    print soup.prettify()
    readFile(id)
    for id in range(1000000000):
        parsedata()
        id = id + 1
        continue
    main(sys.argv[1]);

В то время как часть HTMLя пытаюсь вычистить выглядит следующим образом 

<tr style="height:40px; background-color:#f0f0f0;"><td colspan="4" class="textLargeBold" style="border-bottom: solid 1px #c4c4c4;">Random Details</td></tr>
<tr class="text">
<td align="left" valign="top"><b>Type</b></td>
<td align="left" valign="top">Color</td>
<td align="left" valign="top"><b>Random Number</b></td>
<td align="left" valign="top">213523123123123</td>
</tr>
<tr class="text"
<td align="left" valign="top"><b>Random Month/Year</b></td>
<td align="left" valign="top">12/13</td>
<td align="left" valign="top"><b>Small Random Number</b></td>
<td align="left" valign="top">13233</td>
</tr>

Я хочу детали, которые идут после первого.таким образом, если я ищу Typem, я хочу, чтобы он показал мне Color.

и, конечно, в конце я хотел бы, чтобы полученное содержимое было проанализировано в формате, похожем на CSV.

Тип; Случайное число; Случайный месяц / год

он должен анализировать 

Color;213523123123123;12/13

конечно в коде, который я уже сделал, я не ищу тип, но это можно легко изменить.

РЕДАКТИРОВАТЬ: фиксированное намерение

1 Ответ

0 голосов
/ 14 июня 2011 
html='''
<tr style="height:40px; background-color:#f0f0f0;"><td colspan="4" class="textLargeBold"  style="border-bottom: solid 1px #c4c4c4;">Random Details</td></tr> <tr class="text"> <td align="left" valign="top"><b>Type</b></td> <td align="left" valign="top">Color</td> <td align="left" valign="top"><b>Random Number</b></td> <td align="left" valign="top">213523123123123</td> </tr> <tr class="text" <td align="left" valign="top"><b>Random Month/Year</b></td> <td align="left" valign="top">12/13</td> <td align="left" valign="top"><b>Small Random Number</b></td> <td align="left" valign="top">13233</td> </tr> 
'''

import htql; 
a=[x for x in htql.HTQL(html, "<b sep>2-0 {name=<b>:tx; value=<td>1:tx } ")];
a
...