終戦直後の労働運動は混乱の中にあって、極左勢力による組合運動の領域を逸脱した行動が目立ちました。
その状況に危機感を抱いた有志が、民主的労働戦線の統一を図ることとしました。
そして１９４８年９月に「静岡県労働組合民主化懇談会（労民懇）」の第１回世話人会が開かれ、翌４９年２月に「労民懇」が結成されます。
この「労民懇」が母体となって同年１２月「静岡県産業再建共闘会議」が結成されました。
１９５０年のメーデーにはスローガンとして「静岡県労働銀行を設置せよ」「静岡県労働会館を建設せよ」が掲げられました。
共闘会議では、労金の事務所を兼ね備えた労働会館の建設促進委員会が設置されます。
当初の構想としては、労働者側２００万円、経営者より１００万円、静岡市より土地の提供で２００万円、県からの５００万円を以て建設するというプランでした。
県への陳情を行い促進を図っていましたが、５１年春の選挙で斎藤寿夫知事が当選したことで、静岡市昭和町の茶連の建物を買収して改築することとなりました。
こうして１９５２年４月１日、労働会館の開館式が挙行されました。
買収価格は９００万円で、労働側に集められた建設寄付金は１３５万円余に上りました。
この労働会館には労働団体や労政事務所が入り、１年遅れて結成された労働金庫、そして静岡労済が入所しました。
１９５７年９月、労金は手狭になった労働会館から鷹匠町に本店を建設し独立していきます。
その後、この労働会館は老朽化し、静岡県はこの土地を静清信用金庫に売却します。
入居団体はそれぞれ分散していきました。
県労福協結成（１９６４年）から５年を経過した頃から、県労福協の指導体制の確立や事業団体の連携強化をはかるためには、関係団体がひとつの建物に結集することが必要であるという声が高まり、建設委員会を発足させます。
しかし用地取得や資金面の問題等で１９７２年建設を断念しました。
１９７６年再び総合福祉センターの建設が提起され、県労福協は県知事に対して労働行政の一環として建設を申し入れます。
同時期、労済も本部事務所建設問題に直面していたため、労済からの強い要請があって県との協議を急ピッチに進めました。
自民党との関係もあり協議は難航しましたが、１９８２年自民党県連３役の了承をも取り付けて、８月から具体的な話し合いが持たれました。
話し合いは紆余曲折を経ながら進み、１９８３年２月、陳情してから７年目にようやく建設に向けた作業が開始されました。
１９８５年に完成した会館は他県には見られない特徴があります。
それは静岡県と福祉事業団体による合同建築方式ということです。
それがこの会館を「勤労者総合会館」と「労政会館」というふたつの名称で呼ぶ所以です。