训练预料问答对有关问题
来源:6-10 数据处理-训练语料问答对的处理(2)

慕勒6698465
2018-08-21
像这种格式:
E
M 咱们梅家从你爷爷起
M 就一直小心翼翼地唱戏
M 侍奉宫廷侍奉百姓
M 从来不曾遭此大祸
E
课程里面的处理方法是:
问句1:咱们梅家从你爷爷起
答句1:就一直小心翼翼地唱戏
问句2:咱们梅家从你爷爷起
答句2:就一直小心翼翼地唱戏,侍奉宫廷侍奉百姓
问句3:就一直小心翼翼地唱戏
答句3:侍奉宫廷侍奉百姓
问句4:咱们梅家从你爷爷起,就一直小心翼翼地唱戏
答句4:侍奉宫廷侍奉百姓
***显然这四句话合起来可以认为是一句问句,但是老师您的处理方式则将其拆为问答对,老师能解释一下这样做的好处吗?
--------------------------------------------------------------------------
如果存在一问一答的格式呢,比如说原始语聊是两对问答对【如下面例子】,但是按照您的处理方法则拆为四对问答对,那么问答对1和问答对2【如下问答对】是否为无用问答对?请老师解释一下,谢谢
例子:
M 你叫什么名字
M 杰克
M 多大了
M 22
问答对:
问句1:你叫什么名字,杰克
答句2:多大了
问句2:你叫什么名字
答句2:杰克,多大了
写回答
1回答
-
实际上我使用这样的拆分方式只是一种简单粗暴的拆分,拆分方式有很多种,其目的就是为了能够更好的进行训练,我之所以使用上面的这种方式,是为了更好的提取前后文的有效信息,使得最后得到的结果更加准确;使用下面这种方法不是不可以,但是这样的话对于前后文的信息就没有那么容易获得了,从而对训练精度来讲,需要用更加大量的文本才能够得到更好的模型。
012018-08-21
相似问题