複雑な思いがあり、上の子をかわいく思えません

4歳と2ヶ月の2人の娘を育てています。最近、上の子をかわいいと思えなくなりました。本人もそれを感じてか、「寂しい」と言って泣くことがあります。
主人が求職中で生活が苦しく、食事は1日1食程度になっています。お金がないため保育園にも預けられず、上の子も一緒に、1日中家で過ごしている状態です。下の子の就寝中、できるだけ遊ぶように努力しているのですが、急にイライラしてきて、相手をするのも疲れてしまいます。そんなときに「寂しい」と言われたりすると、余計にイライラしてしまいます。
私は、幼少期に母親が病気で入院し、父親はトラックの運転手をしていたため、ずっと県外の祖母の家に預けられて育ちました。祖母はとても厳しい人で、寂しいときも甘えたいときも、ずっと我慢してきました。母はとうとう治らず亡くなり、父親は再婚して新しい家族をつくりました。だから、私は早く自分の家族をもち、幸せな家庭を築くのが夢でした。
それなのに、最近上の子をかわいいと思えないのです。「寂しい」なんて言われると、「なんで毎日こんなに一緒にいるのに寂しいの！ 私なんか、ずっと何年間も親がいない暮らしで我慢してきたのに！ 甘えないで！」と思ってしまいます。母親失格だなぁと思います。下の子はかわいくてたまらないのに……。
主人の仕事の都合で引っ越ししてきたため、近くには身内もなく友達もいません。そのため誰にも相談ができません。
下の子が産まれるまではこんな気持ちになったことはなく、上の子を大事に育ててきました。こんな母親でも「大好き」と言ってくれますが、それがよけいにつらいです。
このままでは上の子のためにも良くないので、何とかしたいのですが、自分の心のバランスが保てない状態です。これはうつなのでしょうか？　カウンセリングを受けた方がいいのか、悩んでいます。