yield ajax分页请求存传入回调函数时的response相同，使用requests.get的话没问题

首页课程实战体系课手记专栏慕课教程

yield ajax分页请求存传入回调函数时的response相同，使用requests.get的话没问题

来源：12-4 item和pipeline

慕尼黑9469635

2020-05-11

    for _ in range(19):
        print(_)
        yield scrapy.Request(url="https://weibo.com/a/aj/transform/loadingmoreunlogin?ajwvr=6&category=0&page={}&lefnav=0&cursor=&__rnd={}".format(_,int(round(time.time()*1000))),\
                             method="GET",headers=self.headers,callback=self.parse_topic,dont_filter=True)

写回答

1回答

慕尼黑9469635

慕尼黑9469635

提问者

2020-05-11

解决了...设置settings的并发数从默认16改成1..

但是不知道为什么会这样，想请教一下老师..

0

1

bobby

你设置的是哪个参数截图我看看

2020-05-12

共1条回复

Python爬虫工程师实战大数据时代必备

慕课网严选精品教程，高质量内容+服务！

2378 学习 · 1158 问题

相似问题

CSDN的网页是不是变成静态的了？

回答 1

老师，jd_spider中数据插入Mysql时一直显示主键错误，求助~

回答 1

selenium driver.back() 页面元素不存在的问题

回答 1

爬取网页中文信息遭遇乱码

回答 1

线程池提交函数和参数递归处理下一页只执行几页就不执行了

回答 2

打开慕课网App查看更多内容