誰か教えて下さい

誰か教えて下さい。

離婚をして、訳あって元嫁と同居しています。子供も2人います。（男の子6歳・女の子3歳）親権は元嫁が持っていますが、夜遊びが酷く昨年の12月から月の半分以上は外泊を伴う外出をしています。

今自分は子供達を連れて、何処かに引越しを考えているのですが、親権が元嫁にある状態で子供を連れて行ったら、犯罪になるのでしょうか？

※因みに元嫁は家の事を全くせず、炊事、洗濯などは全て自分がしています。