scrapy 框架内循环反复执行，可能是因为多线程的问题吗
来源：4-19 pipeline数据库保存
qq_So_17
2020-09-15
shear_chapter_urls = chapter_urls[f_num:]
urlCount = len(shear_chapter_urls)
if urlCount:
for k in range(urlCount):
isuu_items['ord_x'] = k
chapter_url = shear_chapter_urls[k]
yield Request(url=parse.urljoin(response.url, chapter_url), meta={'isuu_items': isuu_items}, callback=self.content_parse)
断点调试，N次执行的K的值为 0，1，3，4，5，2，1，1，1，1，1
写回答
1回答
-
哈哈 这是正常的 因为scrapy是异步io框架， 是基于协程的， 所以不是每次进入parse这个函数不代表你每次进入的都是同一个调用实例，其中某一次可能就是某个url回来之后的回调 所以这里可能是1 等
032020-09-25
相似问题
老师，scrapy的并发是多线程吗
回答 1
关於spider的观念问题
回答 1
老师，scrapy使用代理api
回答 2
scrapy用yield返回
回答 2
关于scrapy数据库异步操作
回答 1