服が変わればその人の印象も変わるのは当たり前にあることです。
場合によっては、全身を確認したくなることもあるでしょう。
全く悪意も変な意味もなくも行われる自然な行動だという可能性は大いにあります。
単純に対策として考えられるのは、服が変わって見られ方の印象が変わるなら、服をいつものスクラブ+パーカー戻せば良いだけです。
または、自分か周囲を慣れさせるまで続けるだけです。
一応可能性は幅広く考えるべきと考えたので、実際の周囲の人に変化があったということと、ご自身が意識したがために気になったという両面を述べてみました。
不快に思ったら済みません。
また、人と対面するときに顔とか目を見られない人に、ネクタイの結び目や首を見なさいという指導(?)法もありますので参考に。
個人的には、胸元を見てくるよりはるかに気にしなくて良いことかと思っています。