場違いなのかな

月二回だけ、行っている職場。開業当初からいますが、去年の、9月に辞めますと、いって却下されたところです。
お互いさまだから、娘のことも理解してくださり、みんな、何かしら親とか、調子悪かったりあるから、大丈夫だからと。引き留められました。2013年母子入院したりして、迷惑かけたから、恩返しとも思って頑張りました。
しかし、仕事中は、そんなこと感じないのですが、歓迎会や飲み会あるたび、アウェー感あります。私は、真面目に対応してしまい、女子校のノリの延長の30代40代とは、違うタイプみたいです。
なんと言って辞めるのが得策か。何かありましたら、教えて下さい。