Spark SQL с ScalaPB: использование MapType в выходном формате прототипа дает scala .MatchError при вызове toByteString - PullRequest
Новая
       37

Spark SQL с ScalaPB: использование MapType в выходном формате прототипа дает scala .MatchError при вызове toByteString

0 голосов
/ 13 июля 2020

Следующий формат моего выходного сообщения: 

message EditorialTextAdEnforcementData {
  int32 customerId = 1;
  int32 source = 2;
  DecisionDetails decisionDetails = 3;
  int32 flagsEnforceOption = 4;
  int32 categoryEnforceOption = 5;
  int32 applyBypass = 6;
  map<int32, string> categories = 7;
  bcl.DateTime rowDateSource = 8;
  int32 accountId = 9;
  int64 adId = 10;
  int64 orderId = 11;
  int32 adType = 12;
  int32 campaignType = 13;
  bool hasImage = 14;
  bool isNewAdType = 15;
}

При подготовке набора выходных данных я использую следующий метод для включения фиктивной карты 

 val output =...
        .withColumn(UC.Categories, map(lit("1"), lit("test"))).as[EditorialTextAdEnforcementData]
 output.show()

Он отлично работает до этот шаг. Однако, когда я звоню: 

output.map(_.toByteString).show()

, я получаю следующую ошибку: 

Exception in thread "main" scala.MatchError: MapType(IntegerType,StringType,false) (of class org.apache.spark.sql.types.MapType)
    at org.apache.spark.sql.catalyst.expressions.objects.MapObjects.doGenCode(objects.scala:836)
    at org.apache.spark.sql.catalyst.expressions.Expression$$anonfun$genCode$2.apply(Expression.scala:108)
    at org.apache.spark.sql.catalyst.expressions.Expression$$anonfun$genCode$2.apply(Expression.scala:105)
    at scala.Option.getOrElse(Option.scala:121)

Если я удалю поле категорий, все будет нормально. Пожалуйста, дайте мне знать, как я могу писать поля MapType как сообщения protobuf

1 Ответ

0 голосов
/ 17 июля 2020

Это открытая проблема, отслеживаемая в https://github.com/scalapb/sparksql-scalapb/issues/79).

В качестве обходного пути мы можем использовать карту как инкапсулированное поле структуры внутри сообщения, как рекомендуется здесь: https://developers.google.com/protocol-buffers/docs/proto3#backwards_compatibility. следующим образом: 

message Categories {
  int32 key = 1;
  string value = 2;
}

message EditorialTextAdEnforcementData {
  int32 customerId = 1;
  int32 source = 2;
  repeated DecisionDetails decisionDetails = 3;
  int32 flagsEnforceOption = 4;
  int32 categoryEnforceOption = 5;
  int32 applyBypass = 6;
  repeated Categories categories = 7;
  bcl.DateTime rowDateSource = 8;
  int32 accountId = 9;
  int64 adId = 10;
  int64 orderId = 11;
  int32 adType = 12;
  int32 campaignType = 13;
  bool hasImage = 14;
  bool isNewAdType = 15;
}
...