Функция buttonShape()
ничего не возвращает. Ваша начальная строка var rectangle:Shape = new Shape;
создает локальную переменную, которая выходит из области действия и перестает существовать в конце функции.
Поскольку buttonShape()
ничего не возвращает, это действительная сигнатура функции:
private function buttShape():void {}
с return void;
подразумеваемым в конце функции.
Это означает, что ваш код
submit_button.upState=buttonShape();
по существу компилируется в:
submit_button.upState=null;