Автоинкремент в искре с использованием глобального

Question

Я пытаюсь присвоить идентификатор с помощью глобальной функции в spark sql

Я использую глобальную функцию для автоматического увеличения значений

def AddressID():
    global rec
    if (rec == None) : rec = 5000000
    else : rec = rec + 1
    return int(rec)

Фактический результат равен

Name    ID
abc   50000
def   50000
ifg   50000

Ожидаемый результат:

Name    ID
abc   50000
def   50001
ifg   50002