в вашем xpath:
response.xpath('//*[@class="productDisplay"]')
вы упоминаете =
знак для сравнения класса, который строго сравнивает класс, чтобы быть точным productDisplay
Хотя есть и другие классы.
Итак, если вы уверены в одном классе, но есть и другие классы, вы можете использовать атрибут contains
в xpath как:
xpath = '//*[contains(@class, "productDisplay")]' #This way it will search all elements having at least this class.