テレビの瞬間視聴率について

テレビの番組の視聴率について、瞬間視聴率が意味するものが良く分からない。
例えば紅白歌合戦で誰それが歌った時や、大相撲で人気力士の勝負の瞬間視聴率が高かったとか報道されるが、これらは歌手や力士が出る時間が予め予想される為、その時間が近づくと放送されているチャンネルに切り替え視聴率が上がるのは良く分かる。しかしバラエテー番組やトーク番組の瞬間視聴率の意味するものが良く分からない。
例えばＡテレビ○○番組で誰々のギャグが面白くその瞬間視聴率が高かったとすると、それまでＡテレビの○○番組を見てなかった人がその瞬間Ａテレビの○○番組にチャンネルを合わせたと言う事であるが、Ａテレビの○○番組を見ていなかった人が、Ａテレビの○○番組で次に面白い場面があるのだと言う事がどうして分かるのだろうか。
トーク番組で誰々が発言した時、瞬間視聴率が高ったとか良く聞かれる事であるが、これもその番組を見ていない人が、その瞬間チャンネルを切り替えたと言う事であり、瞬間視聴率が高かった番組を見ていない人が、次に瞬間視聴率が高かった番組で、見たいと思う番組が展開されると言う事がどうして分かるのだろうか。