彼は花巻で住職の子として生まれ、小学校の教師をしていた。内村鑑三の本を読み、聖書を読み始め熱心なキリスト者になる。
日露戦争時、「非戦論」を唱え、当局からにらまれ、小学校の教師の職を失う。その後、新聞配達などをしながら、清貧と信仰の生活を送る。
彼は、キリスト教徒になったと当初から迫害を受け、親には勘当され、他人に石を投げられ、家を壊される。
彼の9才の娘の愛子は「ヤソの子供」と言われ、腹部を蹴られ、腹膜炎で亡くなる。
しかし、それにも関わらず、彼は、地域の人を愛し、奉仕する。子供には飴玉をあげ、病気の人がいれば、看病しつつ励まし、雪かきをし小学校の道を整う。
同郷の出身の日蓮宗の宮澤賢治とは、教派を越えた交流があった。
1924年の日記には賢治の勤めていた花巻農業高校に斉藤が集金に行くと、賢治が招き入れ、一緒に蓄音機で音楽を聴いたり、賢治の詩「永決の朝」らしきゲラ刷りを見せられたとの記述がある。
賢治の散文詩「冬のスケッチ」には、斉藤をもじったと思いしき「加藤宗次郎」と言う人物が出ている。
1926年、彼は、師として仰いだ内村鑑三に招かれ町を去る日が来る。誰も見送る人はいないと、駅に来たら、町長、学校の先生、生徒、町の
有力者、一般の人が多く集まり、彼を送った。
