個人的な意見を言えば・・・

いやなら行かなくてもいいとは思う。

新入社員が「社員旅行」に行かないと言い出したーーイヤなら参加しなくてもいいのか？

行かなくてもいいとは思うけど、しばらくは他の人の会話についていけない可能性があるという事は覚悟したほうがいいよね。
社員旅行は結果的に共有する時間を持つことになるので、旅行から帰ってきた２．３日は当然旅行の話題が雑談のテーマになる。
これ、結構な孤立感を感じるので、そこを考えて行く行かないを決めればいいかなと。

個人的には行ったほうがいいとは思う。
でもイヤだなぁ、苦痛だなぁと思うなら強制ではないのだから行かなくてもいいかなと。
一回会社に入ったばかりでいきなり社員旅行に連れて行かれた事があって、あれは辛かったなぁ・・・
周りは知らない人だらけで孤立するわ、ずーっと緊張しまくって、骨休めなんて状態じゃなかったですもん。

まあ、いいんじゃないですかね。
天秤かけて判断しても誰も文句は言えないと思います。