os
Функция listdir()
модуля - это хороший способ использовать при чтении нескольких файлов.
from bs4 import BeautifulSoup
import lxml
import pandas as pd
import os
d = os.listdir()
for file in d:
infile = open(file,"r")
contents = infile.read()
Конечно, здесь я предполагаю, что у вас есть только ваши файлы XML в вашем текущем каталоге.