老师,最近在项目中遇到一个问题,判断一个中文句子是否有意义或者语句是否通顺
来源：10-33 GPT与Bert与课程总结
linhbo
2020-09-29
在判断一段话,比如一条短信的时候,需要去判断这条短信是否有意义或者语句是否通顺,尝试过使用bert,效果不是很好,而且特别慢,老师有没有遇到过类似的问题,帮忙提供一个解决的思路呢?
写回答
1回答
-
正十七
2020-10-04
这块你有数据吗？有数据的话可以分析一下无意义和有意义数据的区别，具体问题具体分析。
比如，我理解，无意义的句子里一般是短句，里面有很多停用词，比如啊，呢，的，我们这样的词语。
你可以用bert的encoding，还可以尝试去除停用词，统计停用词的数目等。然后把去除了停用词的句子再输入给Bert（比如把停用词替换为[mask])，然后把两个encoding向量拼接起来，同时再对停用词提取一些特征，比如停用词数目/句子长度。这些特征也加上，然后上面用逻辑斯蒂回归算法拟合一下试试？
012020-10-04
相似问题