Получить все пользовательские твиты временной шкалы, используя twitter4j и java - PullRequest
Новая
       10

Получить все пользовательские твиты временной шкалы, используя twitter4j и java

0 голосов
/ 13 июня 2018

У меня есть проблема, если кто-то может помочь, я пытаюсь получить твиты, сделанные конкретным пользователем, вот мой код: 

    Paging pg = new Paging();
    String userName = "Obama";
    pg.setCount(200);
    ConfigurationBuilder cb = new ConfigurationBuilder();
  cb.setOAuthConsumerKey("");
  cb.setOAuthConsumerSecret("");
  cb.setOAuthAccessToken("");
  cb.setOAuthAccessTokenSecret("");


  Twitter twitter = new TwitterFactory(cb.build()).getInstance();
  int numberOfTweets = 1000000;
  long lastID = Long.MAX_VALUE;
  ArrayList<Status> tweets = new ArrayList<Status>();
  while (tweets.size () < numberOfTweets) {


  tweets.addAll(twitter.getUserTimeline(userName,pg));
  //System.out.println("Gathered " + tweets.size() + " tweets");
  for (Status t: tweets) {
    System.out.println(t.getUser().getName() + ": " + t.getText()+ " " );


}; 
    pg.setMaxId(lastID-1);
  }
        System.out.println(tweets.size());

    }

Проблема в том, что результат - только те же самые результаты,алгоритм берет только первые несколько твитов с временной шкалы и делает их X разом, а профиль содержит миллион твитов.Может кто-нибудь сказать мне, как я могу решить эту проблему, пожалуйста?Спасибо

1 Ответ

0 голосов
/ 15 июня 2018

Вот способ сделать: 

ArrayList<Status> statuses = new ArrayList<>();
int pageno = 1;
while(true) {
    try {
        System.out.println("getting tweets");
        int size = statuses.size(); // actual tweets count we got
        Paging page = new Paging(pageno, 200);
        statuses.addAll(twitter.getUserTimeline(screenName, page));
        System.out.println("total got : " + statuses.size());
        if (statuses.size() == size) { break; } // we did not get new tweets so we have done the job
        pageno++;
        sleep(1000); // 900 rqt / 15 mn <=> 1 rqt/s
        }
    catch (TwitterException e) {
        System.out.println(e.getErrorMessage());
        }
    } // while(true)

И вам нужна функция сна для соблюдения ограничения скорости: 

static void sleep(long ms) {
    try { Thread.sleep(ms); }
    catch(InterruptedException ex) { Thread.currentThread().interrupt(); }
    }

Ссылка: https://developer.twitter.com/en/docs/tweets/timelines/api-reference/get-statuses-user_timeline.html

...