ベクトルとテンソルを混同しがちな私としましては
MNIST(60000, 28, 28, 1)
最後の１は１次元ベクトルでテンソルの次元とは異なること
テンソルは(60000, 28, 28)は3階テンソル
従って(60000, 28, 28, 1)は4階テンソルになります
階で表すのですから当然に最上階と一番下の1階が存在します
考え方として（）の左から最上階（今回は4階テンソル）一番右が1階テンソルになります
このことからテンソルは入れ物（コンテナ）でベクトルはそこに入る物(体）の形状だと考えれば良いのでは・・・