息子に「ボクのこと嫌い？」と聞かれました

2歳11カ月の息子は、ママにべったりです。夫は多忙のため、日曜日に顔を合わせるくらいで、普段は私ひとりで育児をしています。先日、息子のことを夫に相談をしましたが、あまりの無関心さに苛立ち、息子にも不機嫌な態度をとってしまいました。その日は1日中イライラしっぱなしだったため、息子に「ママは僕が嫌いなの？」と聞かれてしまいました。そんなことを言われたのは初めてなので驚き、「嫌いなわけない！　大好きだよ！」「怒ってばっかりでごめんね」とすぐに伝えました。息子は「ママ、大好きだよ。許してあげる」と言って抱きしめてくれましたが、これを機に精神的に不安定になったり、大人の顔色を伺ったりするのではないかと、これからの成長が心配になってしまいました。また母親として、息子にそんなことを言わせてしまう自分が情けなくて、息子に申し訳ない気持ちでいっぱいです。自分を嫌いなのかと心配させた場合、特別な心のケアをするべきなのでしょうか？　ケアが必要なら、何をしてあげるべきでしょうか？　普段通りに接していていいのでしょうか？　普段は2人で遊んだり、絵本を読んだりすることが多いです。また、プレ幼稚園や公園でもよく遊んでいます。