异步写入mysql的时候,在保存成功时候我想回调一下成功的addCallback,发现部署到linux后不生效
来源:4-20 异步方式入库mysql
慕少1457817
2020-08-01
一开始 , 发现在windows开发环境 ,直接运行程序 不会走进 成功回调 函数 ,
当在爬虫的 def close 方法里 休了几秒后 ,可以进入 成功回调函数,
但是 当我 部署到 linux 的 scrapyd 环境后 发现 成功回调函数 不会进去 , 即使 加大了休眠时长 .
现在业务 需求 , 在插入这条数据后, 要发送 requests.post()请求 调用一下 另一个接口 作为触发条件 .
写回答
2回答
-
bobby
2020-08-05
你可以把逻辑写在这里啊
062020-08-13 -
bobby
2020-08-03
这里callback是异步调用函数 不是成功回调函数, 这里有错误回调函数 是hanle_error 如果这两个都不进入 那么你就需要看看scrapy的日志,因为如果mysql连接失败 也是异步的,如果连接失败了这两个函数都不会进入,你看看scrapy的日志能看出来 你这里如果想在插入成功以后发起下一个请求 https://stackoverflow.com/questions/38467052/scrapy-make-http-request-in-pipeline 可以参考这个
012020-08-03
相似问题