Подстрока Python Spark в Dataframe

Question

Учитывая следующее ..

df.show()

+--------------+
|          name|
+--------------+
| Some_Cool_Guy|
|Some_Other_Guy|
+--------------+

как правильно выбрать "среднюю" часть строки ?? Я скучаю по библиотеке ??

я пробовал:

df.withColumn("newCol", df["name"]).show()

+--------------+--------------+
|          name|        newCol|
+--------------+--------------+
| Some_Cool_Guy| Some_Cool_Guy|
|Some_Other_Guy|Some_Other_Guy|
+--------------+--------------+

а затем немного манипуляции со строками ..

df.withColumn("newCol", df["name"].split('_')[1]).show()

но это просто взрывается с ..

'Column' object is not callable.

Ожидаемый результат будет ..

+--------------+------+
|          name|newCol|
+--------------+------+
| Some_Cool_Guy|  Cool|
|Some_Other_Guy| Other|
+--------------+------+

это сводит меня с ума.

ура!