家族よりおばあちゃんが大好きな息子

3歳になる息子は、隣の義父母の家に毎日遊びに行き、就寝時間になるまで帰りたがりません。私も下の子を連れて一緒に行きますが、「そろそろ帰ろう」と言うと嫌がって泣きます。無理矢理連れて帰ろうとすると大泣きしますし、義父母も「かわいそうだ」と言うので、本人の希望を通しています。息子にとっては、おばあちゃんがすべてになっているように感じます。休日も、私たち家族だけで出かけるのを最近は嫌がるようになりました。いない間におばあちゃんがどこかに出かけてしまうかもしれないと思うと不安なようです。一緒にお出かけしてもあまり楽しくなさそうに見えますし、「おばあちゃんは？」と時々聞いてきます。4月からの幼稚園入園で変わってくれることを期待しているのですが、このままの状態が続くと、精神的に参ってしまいそうです。母親としての自信もなくなりますし、「ママよりおばあちゃんが大好き」と言う息子をいつか愛せなくなりそうで怖いです。このような場合、どうしたらいいのでしょうか？