Internet Explorerは今年中のリリースに向けて目下開発中とのことですが、
追加機能としてプライベート閲覧モードがあるらしいです。

プライベート閲覧モードがあれば、変なサイトを見ても終了してしまえば、
情報はすべて消えているというわけです。

プライバシーの問題はあるものの、このあたりは自己責任のような気もしないでもないですが。
履歴などはブラウザの機能だけでなく、再起動して間違いなく消えていることを確認しましょう。

【ニュースソース】
マイクロソフト、「Internet Explorer 8」にプライベート閲覧モードを追加へ
http://it.nikkei.co.jp/internet/news/index.aspx?n=RS2037905321082008