裁判所法４８条（身分の保障）

「裁判官は、公の弾劾又は国民の審査に関する法律による場合及び別に法律で定めるところにより心身の故障のために職務を執ることができないと裁判された場合を除いては、その意思に反して、免官、転官、転所、職務の停止又は報酬の減額をされることはない。」

裁判官はこの規定のように厚く身分を保障されています。
意に反して「免官」等になるのは、弾劾裁判、国民審査（最高裁裁判官のみ）、分限裁判を受けた場合だけ。
「転所」すなわち転勤さえも十年の任期中は無条件で拒否できるのですが、実際にはこの「拒否権」を行使する裁判官は少ないようです。