crawl lagou不成功

来源:7-2 CrawlSpider源码分析-新建CrawlSpider与settings配置

也行

2017-05-22

http://szimg.mukewang.com/5922e6d60001953505990103.jpg

图一

http://szimg.mukewang.com/5922e6d60001b5cc09080544.jpg

图二

http://szimg.mukewang.com/5922eac600018f9c06820213.jpg

图三(视频中)

1:首次>scrapy genspider -t crawl lagou www.lagou.com的时候就没有出现视频中成功一部分的情况

2:按照视频配置好图一后,依然如之前一样没有创建成功,图三一直没有在本机出现

3:会不会是因为python3.5的缘故呢?

测试了很久,不太明白原因,辛苦老师!

写回答

2回答

bobby

2017-05-23

你如果要在命令行下运行的话

import sys
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.insert(0, os.path.join(BASE_DIR, 'ArticleSpider'))

settings文件中加入这个, 不是python3.5的问题。 这个问题我会在后面讲到,

如果不在命令行下运行的话 pycham运行只要mark source root了, 运行应该是没有问题的

0
2
也行
感谢老师!
2017-05-23
共2条回复

也行

提问者

2017-05-22

老师,会不会是因为python3,5的原因呢?奇怪

0
1
blowwind
那个\a中的'a'是蓝色的,会不会是因为转义了呢,试一下\\a这种写法
2019-11-16
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程