天正１８年(１５９０)一豊が掛川五万石(後に一万石加増)に移封されると、可氏もこれに従っ可氏と掛川城て長浜の地を去り掛川に来た。一豊はこの地に１０年在城し、掛川城をはじめ、その城下町をつくったのであるが、可氏もここで成長し、慶長５年(１６００)２月２６日にはこの掛川で知行千百石を拝領し、一かどの武将となったのである。時に可氏２９才である。

秀吉は天正１８年(１５９０)の小田原陣の後、家康を江戸に移し、家康の支配下であった駿河、遠江、三河の諸城を秀吉の腹心の諸将に与え、家康に対するおさえとしたのであった。掛川は浜松、静岡間の地にあり、東海道をおさえる要しょうの地であった。

掛川に着いた一豊は、直ちに築城と町割りをはじめた。城は町の北部の小丘に築き、天守閣をはじめ二の丸、三の丸、中の丸、松尾郭などの諸建物や塁、堀など在城１０年間にほぽ完成した。

この掛川城跡は現在天守のあとは平和観音が祭られており、一豊の構築による石垣が現在も南面の一部と西面に残って昔をしのばせている。その他太鼓櫓、殿館などが残り、城中は掛川公園として市民のいこいの場となっている。

一豊はこの城の下に城下町を造り、これを城の外郭内におさめ、城下町を包んだ大城郭を形成し武備の強化を計ったのである。

秀吉には子がなかったので、甥の秀次を後継ぎと考え、これに関白職を継がせていたが、文禄２年(１５９３)に秀頼が生れると、秀吉は秀頼に家督をゆずる策略をめぐらしはじめた。その為か秀次は自暴自棄におちいり、乱行をなすようになり、秀吉の命で高野山に送られやがて切腹を命ぜられた。

一豊は、長浜時代から秀次に従っていたが秀次の失脚後は、将来を考え、家康の手腕に大きな期待をよせ、好意をもちだしたのである。そのため家康や秀忠その重臣たちが上洛する途次、大いに歓待して家康をよろこぱせている。家康に対するおさえの一豊が、いつの間にか家康と親しくなってきたのである。後に一豊が関ヶ原の戦に徳川方につき、その戦功によって土佐に来るのであるが、その原因がこの掛川での一豊の心の動き、更にその原因は秀次の失脚という点にあるのである。