在scrapy shell中可以获取到对象在pycharm中无法获取

来源：1-1 python分布式爬虫打造搜索引擎简介

慕慕1544801

2024-04-05

图片描述
老师你看上面获取不到列表页中的新闻项明明在shell可以获取到

4.6
今天我看了看传递给self.response的,发现没有获取到html文件可是上面代码也没问题如下
图片描述

我发现text也拿到了，可是为什么获取不到这个selector对象呢

我又发现了scrapy获取到html页面中的和在浏览器中看到的不一样这是什么情况？难道是反爬嘛我得先看后面的章节嘛？

我想了想会不会是headers的问题呢

写回答

1回答

bobby

2024-04-08

可以先添加headers试试

bobby

慕慕1544801

好的。。。

2024-04-09

共8条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5797 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1