この関係から、カレカノの関係になれると思いますか？

この関係から、カレカノの関係になれると思いますか？
出逢ってから4年経つ男性がいます。
出逢った当時、私には彼氏がいましたが、彼に好意を抱きました。
何回かデートをした後、終電がなくなり私の家に泊まることになりました。
一緒に寝てるうちに、エッチをしてしまいました。
後日、誰とでもエッチをする女だと思われたくなくて、
彼に「エッチをするために泊めた訳ではない。誰とでもエッチしないのに」的なことを言いました。
当時ユニットバスのマンションに住んでいた私は、大きなお風呂に入りたくて
しばらくして彼に「お風呂に入りたい」とラブホテルに誘いました。
一緒にお風呂に入ったものの、ラブラブ入浴でもなく普通に向き合ってお風呂につかり、
エッチもすることなくホテルを後にしました。
後日「なんで何もしてきてくれなかったのー？」と聞くと、
「この前エッチをしてクレームがあったから、ここでエッチしたらダメだと思い我慢した。
（わたしが）甘えてこなかったから本当にお風呂に入りたいだけなのかと思った」と言っていました。
当時を振り返ると、私に好意を持ってくれていたんだなと思う出来事があります。
しかし、付き合っていた彼氏へ罪悪感が募ったのと、私の配属先が地方になったため、
出逢ってから3ヶ月くらいで彼と距離をとるようになりました。
この間にエッチした回数は2回です。
逢わなくなった現在でも、たまにメールや電話をする関係が続いています。
本社に行くときには逢う約束をしますが、私の都合が悪くなりキャンセルして逢えていません。
たまにお互い「彼氏できた？」「彼女できた？」と詮索し合います。
先日電話で、当時のことを振り返って話しをしていたら
「好きだったけど、付き合おうって言えない雰囲気だったから言わなかった」的なことを言っていました。過去のことなので本当かどうか真実はわかりませんが・・・。
そんな彼と先日、2年半ぶりくらいに逢うことができました。
やっぱり一緒にいると楽しくて居心地がよく、いいなぁーと再確認しました。
私は、肝心なところで素直になれなかったり、甘えられないので
彼はたぶん、自分のことを寂しくなったら連絡してくる都合のよい男と認識しているような気がします。
男友達から私の愛情表現は気づきにくいと指摘されました・・
しかし来年の夏に本社に戻ることが決まり、彼と付き合えたらなーと思っています。
東京に戻ったら、告白しようかな、と思っているのですが
お盆休みに私が住んでいる場所まで逢いに来てくれるかもしれないので、
そのときに「好き」と気持ちだけでも伝えてみようかな、と思っています。
そこで、現在の関係から、彼女になることはできると思いますか？
エッチの愛称はお互いよかったと認め合っているので、セフレなのかなとも心配しています。
ちなみに彼には結婚願望がなく、生涯独身かもと言っている36歳の男性です。
私は本当は彼が好きなのに、
彼の前で「恋愛めんどくさい。好きな人ほしい」とか言ってしまう25歳です。
長文なのに、最後まで読んでくださってありがとうございました。