使用py3的urllib爬取淘宝图片

来源:13-9 aiohttp实现高并发爬虫 - 1

时间流逝unity

2018-06-14

http://img.mukewang.com/szimg/5b222ae90001b04014900180.jpg

http://img.mukewang.com/szimg/5b222ae90001910a13200171.jpg

图片的url (pic_url)在这两处地方都有,但爬取结果只在script标签中,请问这是为什么?

写回答

1回答

bobby

2018-06-15

这个是异步网络请求,我在我的爬虫课程中讲解过动态网页的抓取技术,这种页面很多,如果不用selenium抓取的话你就得自己去分析网络请求,这种数据有可能有两种情况,第一种是需要另外发起一个网路请求,第二种是这些数据可能写到js文件中的,需要你有很强的前端分析能力才行,如果用selenium就简单很多

0
0

Python3高级核心技术97讲,高级进阶的必学课程

socket编程/多线程/多进程/线程池/asyncio并发编程/协程和异步IO

2121 学习 · 551 问题

查看课程