息子に「ボクのこと嫌い？」と聞かれました

2歳11ヶ月の息子は、ママにべったりです。夫は多忙のため、日曜日に顔を合わせるくらいで、普段は私1人で育児をしています。
先日、息子のことを夫に相談をしましたが、あまりの無関心さに苛立ち、息子にも不機嫌な態度をとってしまいました。その日は1日中イライラしっぱなしだったため、息子に「ママはボクが嫌いなの？」と聞かれてしまいました。
そんなことを言われたのは初めてなので驚き、「嫌いなわけない！　大好きだよ！」「怒ってばっかりでごめんね」とすぐに伝えました。息子は「ママ、大好きだよ。許してあげる」と言って抱きしめてくれましたが、これを機に精神的に不安定になったり、大人の顔色を伺ったりするのではないかと、これからの成長が心配になってしまいました。また母親として、息子にそんなことを言わせてしまう自分が情けなくて、息子に申し訳ない気持ちでいっぱいです。
自分を嫌いなのかと心配させた場合、特別な心のケアをするべきなのでしょうか？　ケアが必要なら、何をしてあげるべきでしょうか？　普段通りに接していていいのでしょうか？　普段は2人で遊んだり、絵本を読んだりすることが多いです。また、プレ幼稚園や公園でもよく遊んでいます。