Попробуйте с regexp_extract function
В улье:
hive> select regexp_extract('101^11',"(.*)\\^",1)
+------+--+
| _c0 |
+------+--+
| 101 |
+------+--+
В Scala:
scala> val hiveContext = new HiveContext(sc)
scala> val df= hiveContext.sql("""select regexp_extract('101^11','(.*)\\\^',1)""");
scala> df.show()
+---+
|_c0|
+---+
|101|
+---+
В Pyspark:
>>> hiveContext=HiveContext(sc)
>>> df=hiveContext.sql("select regexp_extract('101^11','(.*)\\\^',1)")
>>> df.show()
+---+
|_c0|
+---+
|101|
+---+