耳の穴から茶色い耳あかが出てきます

3ヶ月半になる娘の耳から、水分を含んだ耳あかが出るため、2日に一度は、必ず綿棒で耳掃除をしています。すると、ときどき茶色いものが取れ、そのときには、決まって大泣きをしますが、すぐに治まります。耳の中に傷があって、出血しているのでしょうか？
茶色いものが取れたあとに、綿棒で触れても血は付きませんが、また数日経つと、茶色いものが取れます。一度、小児科で診てもらった方がいいのでしょうか？