number_examples和batch_size之间有什么关系吗?

来源:10-4 Encoder构建

慕九州3352676

2021-06-27

老师您好,我在跑这部分的代码的时候,不太清楚number_examples和batch_size之间还有什么影响吗?

我把number_examples设置为12,把batch_size设置为9的时候还一切正常,但是设置为10、11、12的时候均抛出异常,这是为什么?

代码如下(只是对您的代码在pycharm中整理了一下):

from seq2seq import preprocessing as pre
import tensorflow as tf

data_path = 'data/toydata.txt'
num_examples = 12
input_tensor, target_tensor, inp_lang, targ_lang = pre.load_dataset(data_path, num_examples)
input_tensor_train, _, target_tensor_train, _ = pre.data_split(data_path, num_examples)
BUFFER_SIZE = len(input_tensor_train)
BATCH_SIZE = 9
steps_per_epoch = len(input_tensor_train) // BATCH_SIZE
embedding_dim = 256
units = 1024
vocab_inp_size = len(inp_lang.word_index) + 1
vocab_tar_size = len(targ_lang.word_index) + 1
print(vocab_inp_size, vocab_tar_size)

dataset = tf.data.Dataset.from_tensor_slices((input_tensor_train, target_tensor_train)).shuffle(BUFFER_SIZE)
dataset = dataset.batch(BATCH_SIZE, drop_remainder=True)
example_input_batch, example_target_batch = next(iter(dataset))
print(example_input_batch)


写回答

1回答

正十七

2021-06-27

num_examples是load进来的样本数目,batch_size是每次训练batch里的样本数,理论上说,这里只要batch_size <= num_examples就够了。

  1. 跑出的异常具体是什么啊?

  2. num_examples = 12也太小了,我在代码中设置的是30000

0
3
慕九州3352676
非常感谢!
2021-06-28
共3条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

查看课程