1回答

正十七

2019-12-15

同学你好，在我们的代码中，UNK本来就是0啊。我们在pre-processing里把<UNK>作为词表文件的第一行。然后读入的时候赋值成了0啊。

def _read_dict(self, filename):
        with open(filename, 'r') as f:
            lines = f.readlines()     
        for line in lines:
            word, frequency = line.strip('\r\n').split('\t')
            frequency = int(frequency)            
            if frequency < self._num_word_threshold:               
                continue
            idx = len(self._word_to_id)            
            if word == '<UNK>':
                self._unk = idx
            self._word_to_id[word] = idx

0

0