年齢の違う子と遊ぶには？

2歳10ヶ月の息子と3ヶ月の娘がいますが、2歳の息子について質問します。
同じ住宅にとても仲良くしているママ友だちがいて、よく一緒に食事をしたりお茶をしたりします。その方には、1歳半過ぎの娘さんがいます。
その娘さんは息子より小さいので、何かあると、どうしても息子の方を注意することが多くなってしまいます。
たとえば、食事のときに「座って食べよう」と言われるのは息子だけなので、納得がいかないのではないかと思ってしまいます。ぶつかってしまったときも、息子に悪意がない場合、「○○ちゃんはまだ小さいから、気を付けようね」と言うようにしています。
でも、息子もやっといろいろなことが分かってきたくらいなので、「いつも自分だけが怒られている」と思うのではないかと、少しかわいそうになってしまうのです。
会う回数を少し減らしたりしていますが、同じ住宅で階が違うだけなので、どうしても一緒に遊んでしまいます。なにか良い方法があれば、教えてください。