Ошибка SQL StormCrawler для столбца «nextfetchdate» - PullRequest
0 голосов
/ 23 мая 2018

Мои настройки идентичны этому .Когда я запускаю сканер в режиме сканирования, я получаю следующую ошибку:

[Thread-130-status-executor [109 109]] ОШИБКА cdspAbstractStatusUpdaterBolt - Исключительная ситуация при сохранении com.mysql.jdbc.MysqlDataTruncation: усечение данных: неправильное значение даты и времени: «2099-12-31 00:00:00» для столбца «nextfetchdate» в строке 1 в com.mysql.jdbc.MysqlIO.checkErrorPacket (MysqlIO.java:3964) ~ [stromcrawler-1.0-SNAPSHOT.jar :?] в com.mysql.jdbc.MysqlIO.checkErrorPacket (MysqlIO.java:3902) ~ [stromcrawler-1.0-SNAPSHOT.jar :?] в com.mysql.jdbc.MysqlIO.seqlmand. (Java: 2526) ~ [stromcrawler-1.0-SNAPSHOT.jar :?] на com.mysql.jdbc.MysqlIO.sqlQueryDirect (MysqlIO.java:2673) ~ [stromcrawler-1.0-SNAPSHOT.jar :?] на com.mysql.jdbc.ConnectionImpl.execSQL (ConnectionImpl.java:2549) ~ [stromcrawler-1.0-SNAPSHOT.jar :?] в com.mysql.jdbc.PreparedStatement.executeInternal (PreparedStatement.java:1861) ~ [stromcrawler-1.0.SAR:?] at com.mysql.jdbc.PreparedStatement.execute (PreparedStatement.java:1192) ~[stromcrawler-1.0-SNAPSHOT.jar :?] в com.digitalpebble.stormcrawler.sql.StatusUpdaterBolt.store (StatusUpdaterBolt.java:132) ~ [stromcrawler-1.0-SNAPSHOT.jar :?] в com.distingmorb.AbstractStatusUpdaterBolt.execute (AbstractStatusUpdaterBolt.java:196) [stromcrawler-1.0-SNAPSHOT.jar :?] в org.apache.storm.daemon.executor $ fn__5043 $ tuple_action_fn__5045.invoj (7)1.2.1.jar: 1.2.1] в org.apache.storm.daemon.executor $ mk_task_receiver $ fn__4964.invoke (executor.clj: 468) [storm-core-1.2.1.jar: 1.2.1] в org.apache.storm.disruptor $ clojure_handler $ reify__4475.onEvent (disruptor.clj: 41) [storm-core-1.2.1.jar: 1.2.1] в org.apache.storm.utils.DisruptorQueue.consumeBatchToCursor (DisruptorQueue.java: 509) [storm-core-1.2.1.jar: 1.2.1] в org.apache.storm.utils.DisruptorQueue.consumeBatchWhenAvailable (DisruptorQueue.java:487) [storm-core-1.2.1.jar: 1.2.1] в org.apache.storm.disruptor $ потребление_batch_when_available.invoke (disruptor.clj: 74) [storm-core-1.2.1.jar: 1.2.1] в org.apache.storm.daemon.executor $ fn__5043 $ fn__5056 $ fn__5109.invoke (executor.clj: 861) [storm-core-1.2.1.jar: 1.2.1] в org.apache.storm.util $ async_loop $ fn__557.invoke (util.clj: 484) [storm-core-1.2.1.jar: 1.2.1] в clojure.lang.AFn.run (AFn.java:22) [clojure-1.7.0.jar:?] At java.lang.Thread.run (Thread.java:745) [?: 1.8.0_121]

Пожалуйста, посоветуйте, где искать, чтобы это исправить

1 Ответ

0 голосов
/ 23 мая 2018

Это связано с интервалом выборки для ошибок , который был установлен в -1, что означает «никогда не пересматривать».На самом деле это * * * * * * * * * * * * * * * * * * * .Непонятно, почему mysql задыхается от этого.Вы можете попробовать установить более разумное значение, например 43200, на месяц и посмотреть, работает ли оно.

...