Некоторые сайты принимают защитные меры против роботов, скребущих свои сайты. Если они обнаружат, что вы не человек, они могут не обслуживать всю страницу. Но, скорее всего, происходит то, что при просмотре страницы в веб-браузере происходит куча рендеринга на стороне клиента, которая не выполняется, когда вы запрашиваете эту же страницу в scrapy.
Yahoo! Финансы имеют API . Использование этого, вероятно, даст вам более надежные результаты.