входной набор данных Мой входной набор данных выглядит так:
Ввод: id aaa_bg abc_bg bcd_bg cdb_bg… xyz_bg 1 AS87W63K ./4)ACC DEA UFS QTY10 2 6I7RNWJE ./4)ACC DEA COMCT QTY10 3 6I7RNWEL ./4)ACC DEA COMCT COL
4 + 88CM6P5 ./4) A CC DEA NDCPA COMCT 5 # C94PIXM ./4)AC*C DEA COMCT ANBGT
Выход: выходной набор данных атрибут id bg 1 AS87W63K aaa 2 6I7RNWJE aaa 3 6I7RNWEL aaa 4 + 88CM6P5 aaa 5 # C94PIXM aaa 1 ./4)ACC abc 2 ./4)ACC abc 3 ./4)ACC abc 4 ./4)ACC ab c
Число столбцов с префиксом bg равно 4000, и количество рядов около 120к. Может кто-нибудь подсказать, как реализовать это в Spark (2.3) java динамически c способом.