断らないんだ

会社でタバコ休憩する人達に対して
上司（喫煙者）が私の前席の女性に「行く回数、数えといて」と。
タバコ休憩に対する考えは置いといて、
その女性は「はい。正の字でいいですかね」と。
特に疑問も抱いてない様子。
誰がどう席を外すかなんて気にしてられないと思うのですが、
ただ、適当に返事しただけなのかな。
私が言われたらどうするかな？
即座にムリと言えなかったら。
聞かれた時に「忘れてました」とか
「そんなの気にしてられませんでした」とか言おうと思います。