『日本書紀』によれば、元々倭（日本）大国魂神は天照大神とともに大殿に祀られていたが、世の中が乱れ謀反を起こすなどするのは、両神の勢いだと畏れられた。
そのため崇神天皇6年、倭大国魂神を皇女渟名城入姫を斎主として祀らせたが、淳名城入姫は髪が落ち体は痩せて祭祀を続けることができなくなった。
崇神天皇7年、倭迹迹日百襲媛命が夢で「市磯長尾市をもって、倭大国魂神を祭る主とせば、必ず天下太平ぎなむ」との神託を受けた。
また同年11月にも同じようなことが起こり、大倭直の祖・市磯長尾市を祭主として、神地が定められ鎮座・創建された。
この伝承からアマテラスを天神とし、ヤマトノオホクニタマを地祇とする性格をはっきりさせたことが読み取れる。
垂仁紀はもっと詳細に出ている。
当初の鎮座地は、現在の鎮座地の東方の山麓大市の長岡崎（現在の桜井市穴師および箸中の付近）であるとみられ、後に現在地に遷座したとされるが、遷座の時期ははっきりしない。
一説には現在の長岳寺の位置であるという。
長岡崎が長岳寺付近の丘陵を指す可能性もある。
朱鳥6年（692年）、持統天皇は藤原京の造営にあたって、伊勢・住吉・紀伊の神とともに当社に奉幣し伺いを立てた。
寛平9年（897年）、最高位である正一位の神階が授けられた。
『延喜式神名帳』には「大和国山辺郡 大和坐大国魂神社 三座」と記載され、名神大社に列し、月次・相嘗・新嘗の幣帛に預ると記されている。
後に十六社・二十二社の一社ともなった。
平安初期までに、天照大神を祀る伊勢神宮に次ぐ広大な社領を得、朝廷の崇敬を受けて隆盛した。
しかし、平安京への遷都や藤原氏の隆盛などにより衰微し、中世には社領を全て失っていた。
明治4年（1871年）、官幣大社に列せられた。
江戸時代には社殿は寺院様のものに作り変えられていたので、官幣大社列格の際に新たに社殿が造営された。
戦艦大和には、同名であることから当社の祭神の分霊が艦内で祀られていた。
戦艦大和は昭和20年（1945年）に沖縄沖で沈没したが、そのときに亡くなった2717名の英霊が末社・祖霊社に合祀されている。
昭和44年（1969年）、境内に「戦艦大和記念塔」が建立された。
更に昭和47年（1972年）9月24日、巡洋艦矢矧外駆逐艦8隻の戦没將士英霊をも合祀して、坊の岬沖海戦の全戦死者3721柱が国家鎭護の神として祀られている。
