義理と人情が深く染み付いた東京・下町の一角に位置する青果店「八百×」を経営するも、易学に凝りだし、家業に全く身が入らない父親・×五郎に代わり、小学生でありながら、懸命に店を切り盛りするア太郎は、×五郎のグータラぶりに手を焼きながらも、これまで男手一つで育ててくれた心優しい×五郎に感謝の念を抱いている孝行息子だ。
×五郎はア太郎を優しく見守り、ア太郎は×五郎をしっかりフォローしてゆくという、父子二人、慎ましくも幸せな生活を送っていた。
そんなある日、×五郎は、公園を散歩中、木の枝に風船が引っ掛かり、泣いている女の子のため、木に登って風船を取ってあげようとしたものの、誤って木から転落死してしまい、風船とともに天国へと旅立ってゆく……。
だが、天国の死亡台帳には、名前が記載されておらず、生き返るしかなかった×五郎は、喜び勇んで地上へと舞い降りるも、肉体は既に火葬された後であった。
その後、×五郎は、仕方なく幽霊のまま、ア太郎だけにその姿が見え、コミュニケート出来る存在として、不自由を余儀なくされつつも、 再び下界で、ア太郎との生活を送り、時にはゴーストの特性を生かして、ア太郎のピンチを救うようになる。
苦労人の赤塚としては、生活環境が成熟した現代社会に育ち、物質的な豊かさと精神的な甘えに支えられて生きている、軟弱で小賢しい気質の子供達が、当時増加傾向にあったことに強い憤りを覚え、恵まれない境遇に生きる、自立心の強い少年を主人公に据えた漫画を、敢えて家族解体の視点から描いてみたかったという。
ア太郎の家業が八百屋という設定は、「マガジン」の『バカボン』担当編集の五十嵐隆夫の実家が、当時青果店を営んでいたことから付け加えられたものだ。
また、×五郎が幽霊となり、地上と天界を往き来するシチュエーションは、臨死体験をテーマとし、天界側のミスによって生き残ってしまった一人の航空兵を巡る幸福と災難を描いたイギリス映画『天国への階段』（監督・マイケル・パウエル／主演・デヴィッド・ニーヴン）にヒントを得て創り出されたものであって、『ア太郎』の連載開始と時同じくしてリリースされたザ・フォーク・クルセダーズのアングラソング『帰って来たヨッパライ』の大ヒットに乗じて発想されたものでは断じてない。
そして、当初ア太郎と×五郎のみだったレギュラーに、ア太郎を親分と見込み、押し掛け子分となった突貫小僧のデコッ八と、落ちぶれた昔気質のヤクザの親分・ブタ松が加わるようになると、まさに日本人が美徳とする、物事への正しき流儀や仲間に対する義理と温情が、物語のテーマとして添えられ、情緒的且つ通俗的な概念が、その世界観においてより強調されるようになった。