为什么要有分词make_split
来源：6-10 数据处理-训练语料问答对的处理（2）
Kim1112
2019-03-28
if i == 5
if next_line:
# x: 5; y: 6
x_data.append(line)
y_data.append(next_line)
if last_line and next_line:
# x: 4+5 y: 6
x_data.append(last_line + make_split(last_line) + line)
y_data.append(next_line)
if next_line and next_next_line:
# x: 5 y: 6+7
x_data.append(line)
y_data.append(next_line + make_split(next_line) + next_next_line)
这一段为什么要分词都还没解释就跳过了。。。关键的地方和注释都没有，累人啊！
写回答
2回答
-
Mr_Ricky
2019-04-02
这一段实际上就是一个句子的前后句子连接，得到上一句和下一句，分词是为了训练时作为输入。
00 -
Mr_Ricky
2019-03-28
分词的目的是为了取得每一个词的词向量，便于训练。
00
相似问题