生後3カ月半の離乳食開始は早すぎですか？

現在生後4カ月過ぎの男の子のママです。家族のかかりつけ医の先生に生後6週間目の健診の際、「生後3カ月半から離乳食を始めてみてください」と説明を受け、果物のジュースから始めました。食べることにかなり興味があるようで、よだれもいっぱい出すようになったので、現在は既にバナナを5cm程度食べてしまっています。
しかし、4カ月健診で保健センターの先生に「アレルギーの問題もあるから、まだ離乳食は早すぎる。それ以上進めないで」と言われました。離乳食は医師によっても考え方が違うようですが、どちらに合わせたらよいのか迷ってしまいます。
ちなみに、ウンチの状態は、1日で出る回数も違えば、出ない日もあります。また、水様だったり固形だったりと日々変化します。最近は野菜ジュースも飲みますが、そのときは水様便になります。本人は今までと変わらずいたってご機嫌です。