尝试用相同的代码爬取b站数据

来源：13-7 正则分析HTML

Excalibur_Prime

2018-10-10

7月老师，我按照您的方法编写了爬虫，对pandatv这个网站，都能爬取到想要的数据，但是我尝试用几乎同样的代码来爬取b站的数据，发现只能爬取到网页的导航栏部分的数据，这是为什么呢？我检查了获取的htmls内容，发现也只有部分的网页内容，实在不明白，和b站的页面没有静态化有关系吗？

写回答

2回答

Excalibur_Prime

提问者

2018-10-11

Sorry，7月老师，我的表达不准确，肯定不是用相同的代码爬取，而是用你教的思路，先分析了b站的html结构，然后模拟想抓取up主和人气，然后利用request.urlopen方法获取html内容的时候发现只能获取到<head></head>之间的内容，获取不到<body>部分的内容，所以后面我无法爬取到up主的信息。但是利用谷歌浏览器分期页面内容的时候又确实有<body>部分的内容，这是为什么呢？