言い方が「怖い」と言われました

5月で4歳になる長男をとてもかわいく思っているのですが、昨年8月に次男が生まれてからは、育児に追われてイライラしてしまいます。特に怒ってなくても、キツく接してしまうのです。
次男が生まれた頃は、長男から「お母さん嫌い」「大嫌いだから向こうに行って」「僕はお母さんおらんでいいからね、バイバイ」など、毎日言われ続けていました。つらくてつらくて、精神的にボロボロになるころ、母乳相談室に通い始め、そこで初めて長男の言葉が愛情の裏返しなんだと分かり、毎日必死に追いかけて抱きしめました。すると、やっと「ほんとはお母さん大好きなの。寂しかった。甘えたかった。ギューッてしてほしかった」と抱きついてくれました。長男の方を見ていたつもりなのに、ちゃんと見ていなかったんだと反省しました。
その後、しばらくは順調だったのですが、次男の離乳食が始まり、2人を順番に抱っこやおんぶをしていると疲れやすくなっていきました。今度はイライラの歯止めがきかなくなり、長男にキツイ言い方をして感情的に怒ってしまいます。そして、長男に「お母さん怖い」と言われ、ハッとしました。
自分でも気づかないうちに、口調がキツくなっているようなのですが、どうしたらイライラせず、柔らかく穏かな気持ちでいられるのかわかりません。日々の生活にいっぱいいっぱいで、「体が2つあれば、2人とも寂しくさせないで済むのに」と思ってしまいます。何とか笑顔で接したいのですが、どうしたら変われるでしょうか？