「ご苦労様です」と言うのは失礼ですか？

[1. 匿名]

デパートや駅でお手洗いを利用する時に、母はいつも清掃員の方にいつも綺麗にして頂いてありがとうございますと声をかけます。私もそれを見ていて、同じようにお礼を言うようになりました。でも一回だけご苦労様ですと言ったら母に怒られました。
その人の雇い主でもないし、上から目線になるからと。でも、友達に言うと私はご苦労様ですと言ってるよ。別に良いじゃんと言われました。皆さんはどう思われますか？