江戸時代、盛岡藩の四大飢饉といわれる元禄・宝暦・天明・天保の大凶作によって、領内には多くの餓死者がでました。祗陀寺14世天然和尚は、その悲惨な餓死者を供養するために、十六羅漢と五智如来の合計21体の石仏建立を発願しました。そして領内から浄財の喜捨を募って、1837年(天保8年)工事に着手しました。
下絵は藩の御絵師狩野林泉が描き、石材は市内の飯岡山から切り出し、藩の御用職人の石工7人が3年かかって荒刻みを行い、北上川を舟で渡して、建設場所の祗陀寺末寺の宗龍寺境内に運び入れ．最後の仕上げをしたものといわれています。
こうして、起工から13年目の1849年(嘉永2年)、発願した天然和尚の孫弟子にあたる長松寺13世泰恩和尚のときに、ようやく竣工しました。
しかし、宗龍寺は明治維新後に廃寺となり、1884年(明治17年)の大火で寺院も焼失しました。現在は21体の石仏群を残す、市の公園となっています
