上司の誘いは断ってはダメなんですか？

[1. 匿名]

アルバイトをしてます。たまに上司に｢お昼行く人！｣といわれ何人かついていくのですが、私はお弁当の為断ってました。
また違う日に皆で一服しに行こうと誘われましたが、タバコは吸わないので断っていたら注意を受けました。｢上司の誘いを断るなんてなに考えてんの｣とお局さんに言われてしまったんですが、普通は行くものなんでしょうか？
正直奢って貰えるわけでも無いのに、嫌いな人と食事なんてしたくありません。しかも喫煙室で私だけただ座って皆と話をするのも嫌です。