from collections import Counter

from lagou_spider.create_lagou_tables import Lagoutables
from lagou_spider.create_lagou_tables import Session
import time

class HandleLagouData(object):
def init(self):
#实例化session信息
self.mysql_session = Session()
self.date = time.strftime("%Y-%m-%d",time.localtime())
# self.date = ‘2019-06-24’

#数据的存储方法
def insert_item(self,item):
    #今天
    date = time.strftime("%Y-%m-%d",time.localtime())
    #存储的数据结构
    data = Lagoutables(
        #岗位ID
        positionID = item['positionId'],
        # 经度
        longitude=item['longitude'],
        # 纬度
        latitude=item['latitude'],
        # 岗位名称
        positionName=item['positionName'],
        # 工作年限
        workYear=item['workYear'],
        # 学历
        education=item['education'],
        # 岗位性质
        jobNature=item['jobNature'],
        # 公司类型
        financeStage=item['financeStage'],
        # 公司规模
        companySize=item['companySize'],
        # 业务方向
        industryField=item['industryField'],
        # 所在城市
        city=item['city'],
        # 岗位标签
        positionAdvantage=item['positionAdvantage'],
        # 公司简称
        companyShortName=item['companyShortName'],
        # 公司全称
        companyFullName=item['companyFullName'],
        # 公司所在区
        district=item['district'],
        # 公司福利标签
        companyLabelList=','.join(item['companyLabelList']),
        salary=item['salary'],
        # 抓取日期
        crawl_date=date
    )

    #在存储数据之前，先来查询一下表里是否有这条岗位信息
    query_result = self.mysql_session.query(Lagoutables).filter(Lagoutables.crawl_date==date,
                                                                Lagoutables.positionID==item['positionId']).first()
    if query_result:
        pass
        # print('该岗位信息已存在%s:%s:%s'%(item['positionId'],item['city'],item['positionName']))
    else:
        #插入数据
        self.mysql_session.add(data)
        #提交数据到数据库
        self.mysql_session.commit()
        # print('新增岗位信息%s'%item['positionId'])

#行业信息
def query_industryfield_result(self):
    info = {}
    # 查询今日抓取到的行业信息数据
    result = self.mysql_session.query(Lagoutables.industryField).filter(
        Lagoutables.crawl_date == self.date
    ).all()
    print(result)

lagou_mysql = HandleLagouData()
lagou_mysql.query_industryfield_result()

输出:
C:UsersGuoJ.virtualenvshandle_lagou-o7rpo1IBScriptspython.exe D:/Web/Python/handle_lagou/lagou_spider/handle_insert_data.py
[]

Process finished with exit code 0