训练预料问答对有关问题

来源:6-10 数据处理-训练语料问答对的处理(2)

慕勒6698465

2018-08-21

像这种格式:

E

M 咱们梅家从你爷爷起

M 就一直小心翼翼地唱戏

M 侍奉宫廷侍奉百姓

M 从来不曾遭此大祸 

E

课程里面的处理方法是:

问句1:咱们梅家从你爷爷起

答句1:就一直小心翼翼地唱戏

问句2:咱们梅家从你爷爷起

答句2:就一直小心翼翼地唱戏,侍奉宫廷侍奉百姓

问句3:就一直小心翼翼地唱戏

答句3:侍奉宫廷侍奉百姓

问句4:咱们梅家从你爷爷起,就一直小心翼翼地唱戏

答句4:侍奉宫廷侍奉百姓

***显然这四句话合起来可以认为是一句问句,但是老师您的处理方式则将其拆为问答对,老师能解释一下这样做的好处吗?

--------------------------------------------------------------------------

如果存在一问一答的格式呢,比如说原始语聊是两对问答对【如下面例子】,但是按照您的处理方法则拆为四对问答对,那么问答对1和问答对2【如下问答对】是否为无用问答对?请老师解释一下,谢谢

例子:

M 你叫什么名字

M 杰克

M 多大了

M 22

问答对:

问句1:你叫什么名字,杰克

答句2:多大了

问句2:你叫什么名字

答句2:杰克,多大了

写回答

1回答

Mr_Ricky

2018-08-21

实际上我使用这样的拆分方式只是一种简单粗暴的拆分,拆分方式有很多种,其目的就是为了能够更好的进行训练,我之所以使用上面的这种方式,是为了更好的提取前后文的有效信息,使得最后得到的结果更加准确;使用下面这种方法不是不可以,但是这样的话对于前后文的信息就没有那么容易获得了,从而对训练精度来讲,需要用更加大量的文本才能够得到更好的模型。

0
1
慕勒6698465
非常感谢
2018-08-21
共1条回复

NLP实践TensorFlow打造聊天机器人

解析自然语言处理( NLP )常用技术,从0搭建聊天机器人应用并部署上线,可用于毕设。

673 学习 · 281 问题

查看课程