失礼します

「失礼します」という言葉は去っていく相手に向けて言うのは正しくない用例だろうか。

去っていく本人が「失礼します」と言うのは適切だとは思うんだけど。

退勤時間になって出ていく人に「お疲れ様でした。失礼します」と声をかけたんだが、居残ってる俺がそれを言うのはおかしいのかもしれない。