Вы используете селектор CSS с выражением xpath.
Если вы хотите использовать выражение xpath, вы должны сделать что-то вроде этого:
response.xpath(xpression)
Кроме того, выражение xpath для нужного элемента, вероятно, выглядит так:
response.xpath('//div[@class="competition"]/@id')
Это выражение будет искать любой div
с class="competition"
и возвращать его id
атрибут. HTML-код, который вы разместили, немного грязный, поэтому я его не проверял, но он кажется правильным. Если у вас есть какие-либо сомнения по поводу создания вашего xpath или вы хотите улучшить его самостоятельно, вот отличное руководство .