変な人にあった場合の対処法

この場合の対応。どうしたら一番いいのでしょうか・・・

26日地元の駅から自宅へ帰る途中、後ろから『すいません、すいません』と声が。
最初は自分ではないと思ったので、振り返らないでスタスタ歩いていました。
そしたら、自転車に乗った若い男性が私の隣に止まって
『すいません』と言ったので、毎日のように道を聞かれるから、またその類かな?とおもったので『ハイ?』と返事しました。
そしたらその男性が前置きもなにもなくて『メールアドレス交換しませんかっ?』と言われました。
間髪いれず『しません、ゴメンナサイ』と多分真顔で答えるだけ答えてまたスタスタ歩いて帰りました。
その人は別に何もなかったかのように自分が来た道の方に帰って行ったみたいです。
振り返らなかったのでわかりませんが・・・

家に帰って母親にその話をしたところ、『なんで無視して帰らなかったの?刺されたらどうするの!』って怒られたのですが、この場合、自分的には無視したら『なんで無視すんだよ!』って逆切れしてなにかされたら困るとおもったので冷静に対処したつもりでした。
『すいません』の言い方も普通の方っぽかったので、助けを求めているかもしれないのに、こっちが勝手に変な人と判断して無視するって言うのも自意識過剰なんじゃ?と多分その時の自分はそう思ったのかもしれません。
自分的には結構こういうことは日常茶飯事だったりするので(場所は限定されますが)その閉鎖空間から出た場所でのこう言うパターンはまれだったので自分の判断が正しかったのか、ちょっと迷ったりもしています。
正しい答えはないのでしょうが、今後の参考に(あって欲しくないけど)相手を怒らせずに円満に解決出来る方法が他にあったら、ご教示頂ければ幸いです・・・