ノートンのリムーバブルメディアスキャンをオフにして、ノートンを閉じる（終了、じゃありませんよ！）。
以上。
じゃああんまりなので、もっと詳しく書きますね。
まず、OSはWindows 7。
タスクバーの
「ハードウェアを安全に取り出してメディアを取り出す」
をクリックして、USBメモリを取り外そうとしたのですが、
「このデバイスは現在使用中です。デバイスを使用しているプログラムまたはウィンドウを閉じてから、再試行してください。」
というエラーメッセージが表示されてしまいました。
そっから試行錯誤の嵐。
でも解決には至らず。
はいそこでGoogle先生の出番！
いやー色んな対処法載ってましたね。
ちょっと例を挙げてみても、
・explorer.exe を終了する（←タスクバーも無くなるから、これってダメじゃ…）
・タスクマネージャを終了する
・クリップボードをリフレッシュする（適当に文字コピーでもOKらしいです）
・セキュリティソフトが邪魔してる
・OSの不具合（どないせーっちゅうねん）
・USBメモリの不具合（どないせーっちゅうねん）
・再起動
・・・
などなど色々ブチ当たりました。
で、色々試したところ、私の場合はノートン アンチウィルスが原因でした。
まあ冒頭に書いたとおりなんですが、もちっと詳しく書きます。
・タスクバーのノートン アンチウィルスを右クリック
・「ノートン アンチウィルスを開く」をクリック
・ウィンドウ右上にある「設定」を選択
・詳細設定にある「ウィルス対策」を選択
・「自動保護」タブを選択（デフォでこれになってると思いますが）
・そこから表示されている「リムーバブルメディアスキャン」をオフにする
・「適用」を選択、ノートン アンチウィルスのウィンドウを閉じる
（心配なら、数分時間置いてから）再度
「ハードウェアを安全に取り出してメディアを取り出す」
を実行。
きたあああああああああああ！！
という顛末でした。
ふう。
それにしてもノートン先生しっかりしてくれよ…。