アメーバヘルプの「フォローされた後に気になることや、皆さんからよくいただくお問い合わせへの回答」というページに、
フォローを削除しても、相手の方に通知はされません。
という記述がありました（「フォロー」となっていますが、ページの意味合いから考えると「フォロワー」のことだと思います）。
確かに通知されるわけではないのでそれで正しいと思いますが、もし質問がこの記事のタイトルのものだったら、
フォロワーを削除したら、相手の方にバレる可能性が大いにあります。
が正解になると思います。
理由は、削除前後で相手から見て分かり易い変化があるからです。
最も分かり易いのは、たぶんフォロー管理の「フォローしたブログ」の表示で、
↓こうだったのが
↓こう変わります。
申請直後で未承認の状態の申請中ではなく、承認済みだったものが申請中に戻ってしまうパターンです。
これは、あれ？って思いますよね。
もし、ご自身のブログでこうなった場合はフォロワー一覧から削除されたということです。
「申請中」になっただけなので、そのうち再度承認されるのでは？と思ったら大間違いで、このパターンの場合、相手側では一覧から削除してしまっていますので、仮に再度承認したくなったとしても、もう承認することは不可能です。
つまり、そのままでは再度承認されることは一生ありません。
というようなことが、相手に起きてしまいますので、少なくとも揉めたくない相手はフォロワーの一覧から削除しないの賢明だと思います。
自分が相手をフォローする場合と違って数に制限があるわけでもありませんし。
ちなみに、仮にフォロワー一覧から削除されたとしても、更新通知は変わらずフォローフィードに届きますし、もちろんブログを見ることもできますので、「投稿内容を届けたくない」という意図であれば何の効力もありません。
一応、お互いのアメブロの公開画面には、フォロー＆フォロワーとしての表示がされなくなりますので、他の人から見て相手が自分をフォローしていることが分からなくはなります。
なお、フォローを承認制にしている人は、スパムフォロー（迷惑フォロー）の申請が来たら承認せず削除しておけば、相手には承認待ちなのか？削除されたのか？を知る術が無いので、おすすめです。
別の記事で書きましたが、アメブロのフォロー＆フォロワーが状態によってどのように表示されるのかは、意外と複雑です。