Flink Savepoints - можно проверить и / или изменить? - PullRequest
0 голосов
/ 10 июля 2019

Это что-то вроде мозгового штурма типа «в небе», не ожидая конкретных ответов, но надеясь на некоторые указатели.

Я представляю себе рабочий процесс, в котором мы запускаем точку сохранения и проверяемфайлы точек сохранения, которые можно посмотреть на состояние для определенных операторов - возможно, как средство отладки или как более простой (?) способ достижения того, что мы могли бы сделать с запрашиваемым состоянием ...

Предполагая, что это может сработатьКак насчет возможности изменения / исправления данных в точке сохранения, которые будут использоваться при перезапуске той же или измененной версии задания?

Или, возможно, создание точки сохранения более или менее с нуля, чтобы определить начальное состояниена новую работу?Что-то вроде ввода данных в состояние обратной засыпки?

Существуют ли такие объекты уже?Я думаю, нет, основываясь на том, что я смог найти до сих пор.Как бы я мог выполнить что-то подобное?Моя идея высокого уровня до сих пор звучит примерно так:

  savepoint -->
    SavepointV2Serializer.deserialize -->
      write to json -->
        manually inspect / edit the files, or
        other tooling that works with json to inspect / modify
    SavepointV2Serializer.serialize -->
  new savepoint

На самом деле я еще не написал ни одного кода, поэтому я действительно не знаю, насколько это возможно.Мысли?

1 Ответ

1 голос
/ 10 июля 2019

Вы хотите использовать API обработчика состояний , который скоро появится как часть Flink 1.9.Это позволит читать, записывать и изменять точки сохранения, используя пакетный набор данных Flink api.

...