这个筛选url不彻底吧?

来源:14-8 分析和获取所有的版块 - 2

Mmajicc

2019-05-09

首先的确获取了左侧结点所有的url,但是好像只是做了第一层url的过滤,但是上面递归取url,明显发现还有三层结构的url,对于这种结构,按道理来说第二次的url实际上也是要进行过滤的啊,不是么?

写回答

3回答

欺孀

2019-08-17

def parsing_menu(list_menu):
    for menu in list_menu:
        if 'url' in menu and 'children' not in menu and menu['url']:
            all_url.append(menu['url'])
        if 'children' in menu:
            first_menu = menu.get('children')
            parsing_menu(first_menu)

    return all_url

用这个函数可以一次性筛选到最底层的URL,总共有260个

2
1
不肖生
你这个确实可以,它的一级目录有的有url,有的没有url,二级目录也是有的有url有的没有url
2019-09-15
共1条回复

小小毅丿Kimi

2019-07-31

其实是不彻底的,有个web目录下面的二级目录也可以点击,这个没过滤掉

0
0

Mmajicc

提问者

2019-05-09

好吧,原来二级目录点击页面不刷新,只会显示子一级目录,老师的过滤是对的

0
1
bobby
好的,
2019-05-10
共1条回复

Python爬虫工程师实战 大数据时代必备

慕课网严选精品教程,高质量内容+服务!

2377 学习 · 1158 问题

查看课程