いろいろ検索しましたが、一発で起動したアプリを
すべて終了する方法、もしくはマルチタスクに残らずに
完全終了する方法が見つかりません。

一度起動したアプリはホームボタンをダブルクリック
すると出てくるのでその一つを長押しし、「-」マーク
が出たらそこに指を差して消していく。
この方法しか見つかりません。

別に残っていても「停止」状態だそうで問題ないようですが、
何しろマルチタスクにたくさんアプリが残っていると
バッテリーの減り方が早くなりました。

きっと次回のiPhoneOSのアップデートでは、
アプリを終了するときは、ホームボタンを
ダブルクリックして終了すると完全終了なんていう
機能をつけてくれると助かるのですが...

OS4にケチを付けたくなりました。