発達障害の娘に愛情を感じません

もうすぐ5歳になる長女について、相談します。健診の際に「軽度発達障害」と言われ、発達支援センターに通っています。娘の気になるところは、以下の4点です。

1） 同じタオルをいつも首に下げていないと、極度に不安がる。
2） 物音（時間を知らせるサイレンやスーパーなどのアナウンスなど）を極度に怖がる。
3） 現在、年中さんですが、自分から何かしてみることができず、常に人のマネばかりする。
4） 些細なことでものすごくいじけたり、ヒステリーを起こす。

などです。私は発達障害ではなく、私（母）の愛情不足なのでは、と思います。
娘に対し、「かわいい」「愛おしい」と思ったことがありません。産まれたころからあやしてもあまり笑わず、常に周りの状況をうかがっているような仕草をする子で、「なんかこの子、あまりかわいくない」と感じていました。最近は、私があまりにも威圧的、攻撃的に怒るので、ビクビクしています。
「発達障害」といわれれば、「そうなのかな？」とも思いますが、やはり愛情不足からくる「うつ病」などの精神疾患ではないのかと思います。
今、私自身もカウンセリングに通っている身で、自分のことだけで精一杯なので、娘に愛情を注ぎたいと思っても、そうする余裕も気力もない状態です。
主人はまったく子育てに協力してくれません。両親も遠方に住んでいるため（結婚して、本州から九州に引っ越しました）、子どもの面倒も見てもらえません。周りには知り合いもいないため、誰にも相談できず、とてもつらいです。
本当に子どもに愛情を感じたことがないのですが、別々に暮らしたほうが、彼女のためになるような気がします。
5歳近くまで、親の愛情を注がれなかった子どもは、今から誰かの愛情を受けることができれば、まともに生きていくことができますか？