Как извлечь год из отметки времени в AWS клей с помощью pyspark - PullRequest
Новая
       30

Как извлечь год из отметки времени в AWS клей с помощью pyspark

0 голосов
/ 05 сентября 2018

Мне нужно получить год из метки времени при преобразовании моих необработанных данных в клей AWS. Ниже я пытаюсь, но не работаю. 

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from pyspark.sql.functions import *

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "default", table_name = "xxx", transformation_ctx = "datasource0")
def AddDateYearForPartition(rec):
  rec["year"] = year(rec.date_entered);
  return rec

mapped_dyF =  Map.apply(frame = datasource0, f = AddDateYearForPartition)

Ответы [ 2 ]

0 голосов
/ 12 сентября 2018

Вот код в Scala (если он кому-нибудь нужен): 

import org.apache.spark.sql.functions._

val sourceDf = datasource0.toDF
val resultDf = sourceDf.withColumn("year", year(col("date_entered")))
val resultDyf = DynamicFrame(resultDf, glueContext)
0 голосов
/ 12 сентября 2018

Вам нужно сначала преобразовать ваш источник данных в фрейм данных, насколько я знаю, я делаю что-то вроде этого: 

spark_df = dropnullfields0.toDF()
spark_df = spark_df.withColumn('year', year(spark_df.sessionstarttime).cast("string"))
...