Если оба имеют одинаковые размеры и заполнены нулями, как в вашем примере, вы можете просто суммировать их
df1 = pd.DataFrame(data = [[0,0,0,1],[0,0,0,1]])
df2 = pd.DataFrame(data = [[0,2,0,0],[0,2,0,0]])
df1 + df2
0 1 2 3
0 2 0 1
0 2 0 1
Но, возможно, вам нужен более гибкий ответ