この間違いはかなり多いです。より具体的には、first でいいのに at first と言ってしまう例が多いです。

どちらも「はじめは」「まずは」という意味ですが、at first の場合、そのあとに「でも」などの逆接が続きます。明示することもあれば、暗示レベルで終わることもあります。

例を見てください。

No one showed up at first.  Gradually, however, people started to enter the room.
「はじめは誰も来なかったが、徐々に人々が部屋に入り始めた」

At first I was going to get married to Peter… Well, now my life with Kenny is really a happy one.
「最初はピーターと結婚するつもりだった。うーん、いまはケニーとの生活が幸せだわ」

2つめは、butなどの逆接が使われていないものの、その意味が含まれています。

一方、firstのほうはそのあとに逆接が来るとは限りません。

Let me introduce myself first.
「まずは自己紹介をさせてください」

First we need to clean our room and then buy some foods for the small party.
「まずは部屋をきれいにして、次は、ちょっとしたパーティーがあるので、その買い物をしないとね」

繰り返しますが、first でいいのに at first と言ってしまう例がかなり多いと感じています。ご注意を!