老师请帮我看一下这个爬虫的问题在哪里,谢谢您了!

来源:13-9 数据精炼

黑夜传说导入

2018-02-08

回复 7七月:老师,我搞了一上午这个爬虫,最后失败,请老师帮学生分析一下是哪里的问题好不好,谢谢

import re


from urllib import request


class Spider():

    url = 'https://www.panda.tv/cate/lol?pdt=1.24.s1.3.4mupgj3d1gv'

    root_pattern = '<div class="video-info">([\s\S]*?)</span>'

    name_pattern = '<span class="video-nickname" title="([\s\S]*?)">...</span>'

    number_pattern = '<span calss="video-number">([\s\S]*?)</span>'


    def __fetch_content(self):

        r = request.urlopen(Spider.url)

        htmls = r.read()

        htmls = str(htmls,encoding = 'utf-8')

        return htmls


    def __analysis(self,htmls):

        root_html = re.findall(Spider.root_pattern,htmls)

        anchors = []

        for html in root_html:

            name = re.findall(Spider.name_pattern,html)

            number = re.findall(Spider.number_pattern,html)

            anchor = {'name':name,'number':number}

            anchors.append(anchor)

        return anchors

    

    def __refine(self,anchors):

        l = lambda anchor:{'name':anchor['name'][0].strip(),'number':anchor['number'][0]}

        return map(l,anchors)


    def __sort_seed(self,anchor):

        r = re.findall('\d*',anchor['number'])

        number = float(r[0])

        if '万' in anchor['number']:

            number *= 10000

        return number


    def __sort(self,anchors):

        anchors = sorted(anchors,key = self.__sort_seed(),reverse = True)

        return anchors


    def __show(self,anchors):

        for anchor in anchors:

            print(anchor['name'] + '`````````````' + anchor['number'])


    def go(self):

        htmls = self.__fetch_content()

        anchors = self.__analysis(htmls)

        anchors = list(self.__refine(anchors))

        anchors = slef.__(anchors)

        self.__show(anchors)

spider = Spider()

spider.go()

每次都显示list index out of range


写回答

1回答

7七月

2018-02-08

这样的问题需要调试,看代码估计看不出来。我也得调试才能分析出原因。你首先看一下这个错误发生在哪一行,然后调试看一下这一行附近的每一个变量的取值,就能找到问题。实在不行,群里有源代码,可以对比下和源代码哪里不一样。

0
1
黑夜传说导入
嗯,好的
2018-02-08
共1条回复

Python3.8系统入门+进阶 (程序员必备第二语言)

语法精讲/配套练习+思考题/原生爬虫实战

14590 学习 · 4469 问题

查看课程