老师。现在scrapy改了,IMAGES_URL_FILED无效,只有在item设置image_urls 和images才能下载图片

来源:4-16 scrapy配置图片下载

qq_So_17

2021-10-13

写回答

2回答

bobby

2021-10-14

好的,感谢提醒,希望能帮助到其他使用新版本的同学, //img.mukewang.com/szimg/6167db6d09ca1ecf16260889.jpg 官方文档有说明

0
0

慕勒5311868

2022-01-24

老哥,代码怎么写?


0
1
qq_老虎_daniu
放在pipelines.py 文件里 import scrapy from itemadapter import ItemAdapter from scrapy.exceptions import DropItem from scrapy.pipelines.images import ImagesPipeline class PyscrapytestPipeline(ImagesPipeline): def get_media_requests(self, item, info): print('get_media_requests---',item) for image_url in item['front_image_url']: yield scrapy.Request(image_url) def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") adapter = ItemAdapter(item) adapter['front_image_path'] = image_paths return item
2022-02-14
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5831 学习 · 6293 问题

查看课程