Это потому, что в вашем выражении регулярного выражения вы ищете только символ $
в начале строки.Попробуйте добавить другие символы, которые вы хотите заменить, например:
val df2 = df1.withColumn("full_name",regexp_replace(col("full_name"), "^[$#\\._]", ""))
, чтобы получить ожидаемый результат:
+---------+
|full_name|
+---------+
| raja|
| raja|
| raja|
+---------+