紀州藩は、外国船の渡来をおそれて鎖国を守る幕府の意に従って沿岸のの警備のために、紀州藩沿岸に十数ケ所の遠見番所を設けていた。
そして浦方への報告を敏速に行えるよう、要所に狼煙台を置いた。
白浜の番所はその一つで瀬戸埼番所と言った。
しかし瀬戸埼番所が他と異なるのは、紀州藩藩租の頼宣公がこの番所傍の「桔梗平」（現水族館）に別荘を建てて、しばしば来遊して水軍の鯨船を訓練したことである。
紀州藩の他の番所は土地の庄屋らに見張らせていたが、瀬戸番所だけは田辺に住む与力に見張らせたことをみてもその重要性がうかがえる。
安藤田辺藩主は部下与力３６名を輪番で黒船見張りにあたらせた。
交代時は田辺から船が綱不知に到着し、同所の真鍋伊右衛門家で引き継ぎが行われた。
番所は岬鼻の山中にあり、風がきつく頑丈に作られていたが、平屋１２坪程度で、「軒は低く６畳と４畳台所があり、窓は二重構造で、まるで船室にいるようであった」
与力と二人の中間は６畳の部屋から、紐柄の遠眼鏡で沖の黒船の発見回数を競って四六時中睨み続け、沖遥かに蒸気船を発見して小躍りしてよろこび、蒸気船の型や航海状況を、藩主宛てにしたためて文箱に納め、中間はそれを担いで急いで山を下った。
庄屋はその急便を受けて早舟を仕立て、血気盛んな若者が三丁魯で瀬戸の裏を押し渡り、田辺藩錦水城の裏水に舟をつけ、文書を藩主に届けるのである。
この報告を受けた藩主は、ただちに黒船が瀬戸埼沖を通過したと、早飛脚で和歌山城紀州藩主の注進する。
しかし、黒船通過はめったにあるものでなく、一ケ月の当番は退屈なももので、釣りを楽しんだり、家族が季節には桔梗平へ花見にきたりして優雅な面もあったが、おおむね島流しのような気分であったらしい。
