養老2年(718年)高天山登拝のためにこの地を訪れた行基菩薩が霊地であることを感じ一精舎をたて一心に冥応し祈った。
ある日のこと、念想中に容体より光を放ち香気漂う十一面観音菩薩のお姿が現れこの霊応に深く感じさらに修行を続け、困難と 苦悩に屈することなく祈念し続けた。
人々はこの姿に高天上人と呼び尊敬した。
元正天皇(715~724年)はこの功徳を仰いで、また高天の霊地たるを知り、寺地として与え、十一面観音菩薩を刻むことを許された(開基)。
以来、参拝する人々が絶えぬほど盛大かつ繁栄を極めた。
天平17年(745年)には聖武天皇(724~749年)発病の折、病気平癒祈願をし、天皇より「宝有山」の山号をいただくこととなる。
鑑真和上(753年来日)を住職に任命されるなど、孝謙天皇(749~758年)も深く帰依され高天千軒と呼ばれる格式の高い大寺院で金剛転法輪寺七坊の一つとして石寺、朝原寺などと共に権威を誇った寺であった。
又、葛城修験宗の根本道場として役の小角(634~701)の修行した寺でもあった。
しかし、元弘の変(1331年)以後、南朝についた高天寺の修験僧、高天行秀らが陰から援助していた事から北朝方の畠山基国(1333年)や高師直らにことごとく焼き打ちされ、延宝5年(1677年)住職頼勇の手により高天寺の一子院橋本院として復興なるまで350年余り衰亡の一途をたどっていた。