请求CSD乱码

来源：17-1 课程总结

燚燚生辉

2019-12-09

scrapy shell 在请求https://bbs.csdn.net/forums/ios 时返回如下图
图片描述

添加headers，和cookies 还是无法返回正确热HTML

写回答

1回答

bobby

2019-12-11

已采纳

csdn的这里做了反爬所以只使用scrapy shell不方便，你使用selenium去请求并获取html就行了，因为这里csdn请求经过了两步才能完成，第一步请求会返回一段js文本，js逻辑会再去请求一次，第二次才是html内容

bobby

燚燚生辉

课程中讲解过如何自己写组件去拦截request请求转换成用selenium请求并返回了啊

2019-12-17

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1