【急急急】数据入库时只有一条数据

来源:4-24 大规模抓取图片下载出错的问题

beloved1234

2023-12-17

通过调试时发现,所有的 字段:url_object_id都是一样的,这是个什么情况啊,bobby老师
uid重复了1
uid重复了2

写回答

2回答

bobby

2023-12-18

你把上面两端测试代码和数据贴一下 我本地运行试试呢? 理论上不会出现这种情况

0
5
beloved1234
我有加的老师您的QQ的,我发过去了,您应该能看见的
2023-12-18
共5条回复

beloved1234

提问者

2023-12-18

经过测试,我的 md5 生成的 "url_object_id"字段都是一样的,不是到是什么原因导致的;不知其他同学是怎样的,所以我换成了 aes 

下列是 aes 的 加密方法

如果没有 安装 crypto库的可以使用下列命令安装:

pip install -i https://douban.com/pypi/simple/

 
加密:

from Crypto.Cipher import AES
from Crypto.Util.Padding import pad, unpad
from Crypto.Random import get_random_bytes  # 密钥生成
import base64

''' AES加密 '''
def aes_encrypt(plaintext, key):
    '''
    :param plaintext: 待加密的明文
    :param key: 密钥
    :return: 加密后的密文
    '''
    cipher = AES.new(key, AES.MODE_CBC)
    ciphertext = cipher.encrypt(pad(plaintext.encode('utf-8'), AES.block_size))
    return base64.b64encode(cipher.iv + ciphertext).decode('utf-8')

需要在 爬虫文件中 引入 加密 方法 与 生成密钥的方法 看:③和④

https://img1.sycdn.imooc.com/szimg/657fd7260981a9c115570726.jpg

然后将 md5生成方法替换为 aes生成的方法即可成功

特别要提醒的是:
https://img1.sycdn.imooc.com/szimg/657fd88a095a42ee11100201.jpg

使用 aes 加密时 一定要 引入 密钥,不然无法使用生成且会报错

0
1
bobby
问题已解决
2023-12-22
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程