当寺は、31代用明天皇2年（587）勅願によって、聖徳太子が建立された寺院であり、第7番の霊場になっています。
当寺は比蘇寺（吉野寺）と呼ばれ、法興寺（飛鳥寺）、四天王寺、法隆寺と共に四大寺院の一つでありました。
現在の太子堂（法王殿）には、太子十六歳孝養像を安置しています。
古代最大の内乱「壬申の乱」は、天智10年（671）10月17日、大海人皇子は、兄・天智天皇の病が重くなり、皇位を譲る旨の打診を受けたとき、それを固辞、辞退し、僧形となって10月19日に一行は、（草壁、大津、高市各皇子他20名ぐらいと考えられる）近江大津宮を出発し、宇治、明日香から吉野に入っている。
最初、当山に入寺、本尊前にて、歴代天皇、近親者の弔い、兄天皇の病気平癒、自身の身の在り方等について祈願されたと思われます。
その後、吉野離宮（宮滝）に入られました。
奈良時代には、唐の高僧、道遷が隠遁しており、神叡も20年にわたって籠り、仏門の奥義に通じ、自然智を感得したと言われています。
密教の根本道場になっていました。
平安時代には、現光寺と呼ばれ、56代清和天皇、59代宇多上皇が行幸され、関白藤原道長、空海、役行者も金峰山入峰の折、参詣されたことが古文書で明らかであります。
鎌倉時代に入り、弘安2年（1279）金峰山より、春豪聖人が当寺に住し、堂塔再興に勤め、その後、叡尊の留錫により西大寺末の真言律宗となって法灯がよみがえったのであります。
また、延元2年（1337）春、後醍醐天皇が小野文観を先達にして行幸され「栗天奉寺」と命名され、勅願寺となったのです。
しかしながら、平安末期から鎌倉、室町にかけて武家政治の台頭と共に社会情勢の激変と、吉野という僻遠の地にあって当寺が無住荒廃の一途を辿り、比蘇寺、吉野寺、現光寺、栗天奉寺、世尊寺と寺名の変遷が興亡盛衰の跡を物語っています。
江戸時代に入り、荒廃ぶりを憤慨した朴道秀拙和尚がその復興を念じて入寺。
続いて宝暦元年（1751）開山、雲門即道禅師（大阪、大道寺）を迎え、伽藍を整備縮小して、霊鷲山・世尊寺と改めています。
尚、太子が御父用明天皇の為に建立された東塔は、文禄3年秀吉によって伏見城へ、更に慶長6年家康によって大津、三井寺へ寄進され、現存しています。
西塔は推古天皇が夫の帝、敏達天皇の供養のために建立されましたが、戦乱のため焼失しています。
この他に、太子お手植えの桜、俳人芭蕉の句碑は静かなたたずまいを見せています。
因みに、寺域2万3千平方メートルは昭和2年4月8日付けで「史跡・比曽寺跡」として、国の指定を受け今日に及んでいます。
