Как создать новый столбец из результата функции - PullRequest
Новая
       8

Как создать новый столбец из результата функции

0 голосов
/ 15 ноября 2018

В настоящее время выполняется приведенный ниже скрипт, который проверяет наличие ошибок в длинном списке URL-адресов. Этот код сначала ищет уникальные URL-адреса в df ['Final_URL'], проверяет каждый отдельный URL-адрес и возвращает статус этого URL-адреса ссылки. Когда я запускаю приведенный ниже код, я получаю текущий вывод на моем ноутбуке, что нормально. Теперь я хотел бы перенести код состояния (например, 200, 404, BAD и т. Д.) В новый столбец в моей df под названием «Status» для всех URL, которые равны уникальным URL-адресам, которые я получил в начале кода.

Каков наилучший способ создания нового столбца df ['Status'], и, поскольку я хочу экспортировать его в листы Google, знаете ли вы, сохраняется ли цвет текста при обновлении ячеек с помощью таблиц? 

Input code:
#get unique urls and check for errors
URLS = []

for unique_link in df['Final_URL'].unique():
    URLS.append(unique_link)

try:

    GREEN = '\033[92m'
    YELLOW = '\033[93m'
    RED = '\033[91m'
    ENDC = '\033[0m'

    def main():
        while True:
            print ("\nTesting URLs.", time.ctime())
            checkUrls()
            time.sleep(10) #Sleep 10 seconds
            break

    def checkUrls():     
        for url in URLS:
            status = "N/A"
            try:
                #check if regex contains bet3.com
                if re.search(".*bet3\.com.*", url):
                    status = checkUrl(url)
                else:
                    status = "BAD"

            except requests.exceptions.ConnectionError:
                status = "DOWN"

            printStatus(url, status)

            #for x in df['Final_URL']:
            #    if x == url:
            #        df['Status'] = printStatus(status)



    def checkUrl(url):
        r = requests.get(url, timeout=5)
        #print r.status_code
        return str(r.status_code)

    def printStatus(url, status):
        color = GREEN

        if status != "200":
            color=RED

        print (color+status+ENDC+' '+ url)



    #
    # Main app
    #
    if __name__ == '__main__':
        main()

except:

    print('Something went wrong!')



Current output:

200 https://www.bet3.com/dl/~offer
404 http://extra.bet3.com/promotions/en/soccer/soccer-accumulator-bonus
BAD https://extra.betting3.com/features/en/bet-builder
200 https://www.bet3.com/dl/6

1 Ответ

0 голосов
/ 15 ноября 2018

Вы можете просто переписать свою функцию как таковую 

def checkUrl(url):
    if re.search(".*bet3\.com.*", url):
        try:
            r = requests.get(url, timeout=5)
        except requests.exceptions.ConnectionError:
            return 'DOWN'
        return str(r.status_code)
    return 'BAD'

и затем применить ее следующим образом 

df['Status'] = df['Final_URL'].apply(checkUrl)

хотя, как заметил user32185 , в случае, еслиесть дубликаты URL, они будут вызываться дважды.

Чтобы избежать этого, вы можете сделать так, как предложено user32185 , и написать свою функцию следующим образом: 

def checkUrls(urls):
    results = []
    for url in urls:
        if re.search(".*bet3\.com.*", url):
            try:
                r = requests.get(url, timeout=5)
            except requests.exceptions.ConnectionError:
                results.append([url, 'DOWN'])
            results.append([url, str(r.status_code)])
        else:
            results.append([url, 'BAD'])
    return pd.DataFrame(data=results, columns=['Final_URL', 'Status'])

, а затем использоватьэто так: 

status_df = checkUrls(df['Final_URL'].unique())
df = df.merge(status_df, how='left', on='Final_URL')
...