冗談とセクハラの違いって？

[55. 匿名]

同じ職場の独身中年男性に、「家に泊めてよ」（台風で電車が止まったとき）とか、私の子供のことを「本当は俺の子？」って言われました。
冗談で言ってるんだろうとは思うものの、正直めちゃくちゃキモいです。返し方がわかりません。
既婚の女性に対して、この冗談はアリですか?
それ以来、仕事では普通に接しなければと思うのですが、ついつい避けてしまいます。。