用意图识别来区分搜索keyword是属于哪个商品类目,是要怎么实现?

来源:7-10 如何应对数据膨胀带来的性能问题

沙漠风暴2635293

2022-07-16

老师好,我看老师视频说,要用意图识别来区分搜索keyword是属于哪个商品类目,然后具体去那个商品类目的数据集群中搜索,请问这个意图识别是要怎么实现?

写回答

1回答

少林码僧

2022-07-16

我们业务门中使用的方法有下面这些,生产环境中一般是使用多种方案相互配合来实现

  1. 词表穷举法或者规则解析法,就是通过商城现有的商品和对用户搜索关键词的收集整理的词表,在这个基础上进行人工标注,让关键词和商品类目建立关系,当然一个关键词可能出现包含多个类目的情况。

  2. 基于查询点击日志,用户触发搜索到点击商品的过程做日志上报,记录用户查询的关键词-点击的商品,以及商品在结果中的位置信息等情况,大部分热搜的商品都可以通过查询关键词到点击的商品,就可以记录出关键词对应的商品类目。

  3. 使用机器学习,比如基于规则挖掘,基于Bayes、LR、SVM等传统分类模型将其转化为分类问题

  4. 基于神经网络(深度学习)比如FastText等

课程的核心是基于ES构建高性能的搜索服务,这些并不是课程的重点,当然展开来讨论也能单独作为一门课程,目前这一块的功能主要是数据分析和AI的同事参与,从人力投入来看比搜索团队还多,基本都是一些算法工程师。

1
0

海量数据高并发场景,构建Go+ES8企业级搜索微服务

全新 ES8 配合技术组件,实现高性能搜索

267 学习 · 54 问题

查看课程