padding_mask
来源：10-17 mask构建
wxz123
2020-02-01
老师，通过
en_tokenizer = tfds.features.text.SubwordTextEncoder.build_from_corpus(
(en.numpy() for pt, en in train_examples),
target_vocab_size = 2 ** 13)
得到的词表中不应该有一个元素的id对应为0吗，那
padding_mask = tf.cast(tf.math.equal(batch_data, 0), tf.float32)
这句把0全去掉不合理吧
写回答
1回答
-
正十七
2020-02-05
0是填充，这个subwordTextEncoder输出的是[1, vocab_size).
https://www.tensorflow.org/datasets/api_docs/python/tfds/features/text/SubwordTextEncoder#build_from_corpus
00
