tf.matmul(q,k) 是怎么设定只做最后两个维度乘法的
来源:10-18 缩放点积注意力机制实现(1)
刘鹏4
2021-09-22
tf.matmul(q,k) 是怎么设定只做最后两个维度乘法的,是不是无论是几个维度的矩阵,这个方法都是只乘最后两位?
写回答
1回答
-
从函数的定义的解释上看是的,后两个维度做矩阵计算,前面的维度会被当作batch_size, 而且必须得一样才可以。
https://www.tensorflow.org/api_docs/python/tf/linalg/matmul
112021-09-26