У меня есть следующий журнал
2015-07-22T09:00:28.019143Z,marketpalce-shop,263.242.248.130:54635,10.0.6.158:80,0.000022,0.026109,0.00002,200,200,0,699,GET https://prjbfekbf.com:443/ship/authresponse?code=f2405b05-e2ee-4b0d-8f6a-9fed0fcfe2e0&state=null HTTP/1.1,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36,ECDHE-RSA-AES128-GCM-SHA256,TLSv1.2
Это фрейм данных в моем наборе искровых данных.Я хочу извлечь из этого журнала метку времени, IP-адрес, тип браузера и тип устройства.
Spark Dataframe в отличие от pandas dataframe содержит запутанную документацию о том, как извлечь их.Я попробовал почти все решения на SO.Пожалуйста, помогите с любой внешней ссылкой или идеей о том, как это сделать.
Пожалуйста, не отмечайте это как дубликат, увидев слова ip и reg-ex.Хотя это часто встречается, раньше это не было сделано для фрейма данных scala и spark.