夫に疲れて実家から戻れません

5ヶ月になる娘と一緒に、10日ほど前から実家に戻っています。
夫は、精神的に幼い（未熟）な人で、気持ちもコロコロ変わります。出産時に立ち会いをしたときには「感動した」と言い、父親としての自覚が芽生えたと思ったのもつかの間、退院したら、ふざけて娘の口にコーヒーをたらすような信じられない行動をしたりします。また、2ヶ月間くらい私や娘を無視していたので、少し体調が悪くなったこともあり、実家に静養しにきたところ、張りつめていた糸が切れてしまったかのように、実家から戻れなくなってしまいました。
今まで、夫の態度に散々傷つけられてきたのですが、平静を努めてきました。でも今は、その気力もなくなり、実家に引きこもりのようになっている状態です。
娘は、順調にすくすく育っています。このまま主人から逃げていてはいけない、と分かっているのですが、話し合うのも怖く、前に進めない状態です。夫婦関係が娘に影響するのではないかと思うと、気が気でなくなり、なかなか寝付けなくなります。
夫婦不仲の環境で育つより、父親がいなくても、明るく平穏な環境で育つ方が良いのでしょうか？　考えると、娘に申し訳なくてたまりません。