判明しましたので書き記しておきます。
今まで何度やっても表示されないので半分諦めていましたが、
ある拍子で標示されて対処方法が判明しました。
※ちなみに当方はバージョン11で説明します
通常は「ここにアートを貼り付け」の上で右クリックしても
このようなメニューになっています。
そこで貼り付けたいアルバムの表紙（ジャケット）を
適当なサイトからコピーしてきます。
用途は個人のパソコンで楽しむ範囲内なので
ジャケットのコピーは問題ではないと思います。
正方形の画像を用意すると綺麗に貼り付けられますので
個人の方が撮影したようなものではなく、
スキャンした画像のほうが綺麗だと思います。
クリップボードにコピーした状態で右クリックすると、
このように「アルバム アートの貼り付け」というコマンドが表示されるので
クリックしてみます。
ここからがポイントなのですが、
僕の場合ここで無反応な場合がほとんどです。
うまくいく場合は以下のように、
「処理しています」と表示され数秒後に正しく貼り付けられます。
アルバムアートが表示されました
無反応の場合は、
一度Windows Media Playerを終了して再びアプリを起動してみます。
すると正しく貼り付けられているのです！
・・・なぜかは分かりません 笑
Windows Media Playerの不具合でしょうか。。
ともかく無反応でも再度立ち上げることでうまく表示されるはずです。
複数のアルバムに一気に貼り付けたい場合も大丈夫です。
画像コピー→貼り付け→画像コピー→貼り付け・・・と繰り返しても
最後にWindows Media Playerを再起動すれば全部貼り付けされているはずです。
ちなみに、すでに画像が貼り付けてあって変更したい場合も、
上書きするイメージで上記と同じ方法でうまくいくと思います。