Я использую Tweepy, чтобы собирать твиты для формирования набора данных.При извлечении твитов с помощью функции поиска, он прекрасно собирает твиты, хотя и содержит такие символы, как '\ n', что хорошо и может быть легко удалено.
Проблема возникает, когда я пытаюсь сохранить ее в формате csv, твиты в настоящее время кодируют в utf-8-sig, поскольку это обеспечивает наименьшее количество проблем, но проблемы с кодировкой по-прежнему сохраняются.Как можно ожидать из моего кода, функции и определения сбивают меня с толку, так как я не специалист по Python, поэтому любой нормальный код будет очень полезен, но любая помощь приветствуется!
Это проблема кодирования, и я пробовал такие форматы, как utf-8, utf-8-sig и ISO-8859-1, но проблема сохраняется.
Я пытался проверить dataframe / csv в Excel, minitab и в самой записной книжке jupyter, но проблемы с кодированием сохраняются.
consumer_key = 'X' consumer_secret = 'X'
access_token = 'X' access_token_secret = 'X'
auth = tweepy.OAuthHandler (consumer_key, consumer_secret) auth.set_access_token (access_token, access_token_secret)
api = tweepy.API (auth)
public_tweets = api.search (q = 'Vaccines -filter: retweets', count = 110, tweet_mode = 'расширенный', lang =' en ')
df = pd.DataFrame (data = [tweet.full_text для твита в public_tweets], столбцы = [' Tweets '])
df.to_csv ('C: \ Users \ 15082537 \ Dropbox \ Fourth year \ 5.Dishesis \ Datasets \ Test.csv', index = False, кодировка = 'utf-8-sig', mode = 'a', header = False)
Большинство твитов выходят хорошо:
Другое огромное исследование, в котором приняли участие более 650 000 детей, не выявило абсолютно никакой связи между вакцинами и аутизмом.Врачи говорят, что это доказательство того, что мы живем в «устойчивом к фактам» мире.
Должностные лица призывают к вакцинации после обследования сотрудников Donuts Нью-Джерси Данкин на гепатит
Однако некоторые твиты появляются вот так:
GiveYourKidsAShot, чтобы их мечты стали реальностью.âï¸ð¬ð © ¼¼âð¬â \ r \ nâ \ r \ nБлагодаря вакцинации мы можем предотвратить распространение многих смертельных заболеваний.Защитите своих детей от болезней, предупреждаемых с помощью вакцин, убедившись, что они в курсе своих вакцин сегодня! # VaccinesWork
@ DrAmirKhanGP Почему он не в тюрьме.Он несет ответственность за столько несчастий.Я ненавижу его.И я не ненавижу легко.Все потому, что он хотел продать свою вакцину против кори