この映画は、ユダヤ教の厳格な父に育てられた少年ジェイキーが家の伝統を継がず、家出してジャズ・シンガーとなり、成功をおさめ、父の死の直前に和解するという物語。世界最初のトーキー映画である。全体の3分の2ほどが画面展開に説明文字を挟む従来のサイレント版、残りの部分が歌の入るトーキー版になっている。
ニューヨークのユダヤ人街に暮すユダヤ教のラビノウィッツ家は五代にわたって司祭長をつとめ、教会の聖歌の先唱役を担う家柄、父親は息子ジェイキー(アル・ジョルソン)を後継ぎにするべく教育したが、彼は父の言いつけにそむき、酒場で歌を唄っていた。父はジェイキーを勘当同然に扱った。ジェイキーは家業を継ぐことを嫌い、家出。母親はそんなジェイキーに同情し、父親にとりなそうとするが聞き入れなかった。
家出したジェイキーはショー・ビジネスの世界に飛び込み、数年を経てジャズ・シンガーとなり、名前もジャック・ロビンと変える。酒場でうたう(「汚い手、汚い顔」「トッツィー」など)。彼は、メアリー・ディル(メイ・マカボイ)という女性を紹介された。彼女は、彼の「声に涙がある」と賞賛。互いに心が惹かれあい、彼女の援助を得て、ジェイキーはニューヨークのブロードウェイの舞台公演ミュージカル・コメディに出演することとなった。ニューヨークに戻ってジェイキーは久しぶりに家に寄り、母と対面し、ジャズ・ピアノを演奏してみせるが父親とは依然対立が続いた。
公演を翌日に控えた日、教会では贖罪の式の日にあたっていたが、先唱役を担うはずの父が危篤であることを知らされた。舞台出演と父と和解して欲しいとの母の願いの間で、ジェイキーは悩む。
悩みに悩んだ末、ジェイキーは母親の懇願を受け入れ公演を中止。父の最期に立会い、和解した。先唱役として聖歌隊とともに唄った。
ラストシーンは、ショーでの舞台。黒人風に黒塗りのメークアップでジェイキーが母親の前で唄う「マミー」は、情がこもって秀逸。