Попробуйте что-то вроде этого:
dictionary = {}
with open("file1.txt") as file1, open("file2.txt") as file2:
for key, value as zip(file1, file2):
key = key.strip()
value = value.strip() # If all the values must be integers, do int(value.strip())
dictionary[key] = value