遠見番所とは、異国船が来航した時にいち早く発見して通報する所で、異国船監視所とでもいう所である。

寛永１５年(１６３８)、島原の乱が平定した年に、幕府は土佐藩にも遠見番所をつくらせ、異国船が来航した場合には、直ちに江戸表へ注進させるように命じた。この命をうけた２代藩主忠義は、柏島、足摺、与津崎へ遠見番所をつくらせ、翌１６年春(１６３９)には津呂と甲浦にもつくった。

その後遠見番所は次第にその数を増し、享保７年(１７２２)には甲浦、津呂、室津、羽根、手結、浦戸、清水、古満目、柏島、宿毛大島、となっている(『憲章簿』海禦之部４)。

これらの遠見番所は一間に一丈の大きさで板囲、板敷(清水)、七尺に八尺(柏島)という小さい小屋であり、番人は２人で、各人１人扶持から２人扶持をもらって勤務しており、その監視時期は３月から７月までの、５か月間だけであった。この期間が南からの季節風の吹く時期であり、それ以外の時期には異国船の来航がないことが判明していたからである。

異国船来航を土佐藩で発見できず、隣国から土佐沖に異国船が見えたと報告されては、土佐藩の面目はまるつぶれとなり、藩主の進退にも関係するので、藩主は異常な神経をつかっていたことが次の山内忠義の書状で明瞭である。

「土佐沖へ異国船相見え候など、隣国より公儀へ注進候ては身体相果て候大事の儀に候間、いささかの無沙汰すまじく候」