1010年頃の平安時代、井伊氏の祖・井伊共保が井伊谷城を築城。南北朝時代の井伊道政は南朝の後醍醐天皇の皇子・宗良親王を助けたことから、親王は道政の娘を正室として迎え、宗良親王の子・尹良親王は井伊谷城で生まれたという。その後すぐの1340年には室町幕府方の高師泰・仁木義長らに攻められ井伊谷城は落城した。宗良親王は駿河から信濃に入り南朝の征夷大将軍となり、新田氏と共に各地を転戦するが足利方に敗走、この頃、井伊弾正直秀も討ち死にしている。1385年には宗良親王が薨去し、その後南北朝合一が成る。
南北朝合一後、斯波氏が武功により室町幕府から井伊谷を含む遠江守護の地位を与えられるが、戦国時代に入ると今川氏親、北条早雲による遠江侵攻が始まる。井伊直平は斯波方に付き氏親と戦うが、1514年今川家臣朝比奈泰以に攻められ井伊氏は今川氏の配下となり、以降、井伊氏は今川方として従軍する事になる。1542年井伊直宗が今川義元に従い三河国田原城を攻めるが戦死。1544年直宗の弟直満、直義が武田氏に内通したとの家臣小野政直の讒言により義元に自害させられる。1560年直宗の子直盛が桶狭間の戦いで戦死。家督を直満の遺児・直親が継ぐが、小野政直の子小野道好の讒言により今川に謀反を疑われ掛川で朝比奈泰朝の襲撃を受け討死。直親亡き後の井伊谷は虎松(のちの井伊直政)が城主となるまでの期間、出家していた直盛の娘井伊直虎が還俗し城主を務めた。