传说秦时徐福发现秦山岛，曾经三次登临此岛，也因为徐福，秦始皇才相信“海上有仙山”“似在飘渺间”，三次东巡皆到此地，登上了秦山，并立石为秦东门，岛名由此称“秦山”。