百済寺城は敏満寺城と共に城砦化された寺院で、城郭寺院の典型ともいえ、百済寺の総門の左右には長大な土塁と空堀が残されている。
総門は朱塗りであるため「赤門」とも呼ばれており、この赤門の南側には約50mにわたって残る土塁と空掘はまさに城砦の構えである。
南に延びる土塁と空堀は途中で確認しにくくなるものの、井伊直滋墓所の裏から延々と続いている。また、赤門北側には、赤門横の道路を少し登った左手雑木林の中に土塁を確認することができ、滋賀県中世城郭分布調査委員会資料によれば、土塁は赤門南側で総延長450m、北側はは230mにおよぶとしている。
土塁の一部には空堀側斜面に石垣を積み、より堅固な作りとしている部分もある。
本堂に至る左右の尾根の中腹には北要害，南要害と呼ばれる砦が築かれ、階段状に曲輪が認められる。
また、赤門をくぐると本堂まで両側に石垣の積まれた参道が続き、本堂は3～4mほどもある石垣の上に建てられており、これら石垣みても百済寺が尋常な寺でないことが伺い知ることができる。
百済寺は朝鮮からの渡来系氏族といわれる秦氏によって建立された寺院で、文亀3年（1503）に六角高頼と六角氏被官の伊庭貞隆の抗争（第一次伊庭の乱）により全焼し、この復興と共に城塞化が始まったとされている。
元亀4年（1573）百済寺は六角義弼の立て籠もる鯰江城を支援したとして、織田信長に攻められ、伽藍はことごとく灰燼に帰したとされる（信長公記）
以下、信長公記の元亀4年の条 百済寺伽藍御放火の事
七月七日 信長公、御帰陣。其の日は守山に御陣取り、是れより直ちに百済寺へ御出で、二、三日御逗留あって、鯰江の城に佐々木右衛門督楯籠るを、攻め衆人数、佐久間右衛門尉・蒲生右兵衛大輔・丹羽五郎左衛門尉・柴田修理亮に仰せつけられ、四方より取詰め、付城させられ侯。近年、鯰江の城、百済寺より持続け、一揆と同意たるの由、聞こしめし及ばる。四月十一日、百済寺堂塔・伽藍・坊舎・仏閣、悉く灰燼となる。哀れなる様、目も当てられず。其の日は岐阜に至りて御馬を納められ候ひき。