1回答

正十七

2018-11-25

参考原始代码：

def generate_seg_file(input_file, output_seg_file):
    """Segment the sentences in each line in input_file"""
    with open(input_file, 'r') as f:
        lines = f.readlines()    with open(output_seg_file, 'w') as f:        for line in lines:
            label, content = line.decode('utf-8').strip('\r\n').split('\t')
            word_iter = jieba.cut(content)
            word_content = ''
            for word in word_iter:
                word = word.strip(' ')                if word != '':
                    word_content += word + ' '
            out_line = '%s\t%s\n' % (label, word_content.strip(' '))
            f.write(out_line.encode('utf-8'))

输出文件的编码一般应该是utf-8的，你的代码没有调encode函数，所以需要你打开文件的时候指定编码方式。

把旧文件内容抹掉的原因是因为代码中打开的就是一个文件啊，自然要覆盖。如果你不想让它覆盖，你可以指定其他的文件名。

0

2

正十七

回复

慕圣5474743

字符串上直接调用。out_line.encode('utf-8')

2019-06-09

共2条回复