相传南澳岛上藏有富可敌国的巨大宝藏，金银珠宝不计其数。关于宝藏的说法从宋朝末年就开始在南澳岛流传，到了明代，又出现了海盗藏宝的传说。不过最有名的藏宝一说，是关于逃亡的宋朝末代皇帝赵昰的。小皇帝赵昰和他弟弟赵昺逃亡至南澳岛后，眼看追兵步步逼近，决定在离开之前，把一部分随身携带的金银珠宝留在南澳岛，并在藏宝地附近的石壁上刻下文字，方便日后寻找。《南澳志》还记载，南宋末帝曾经在南澳岛居住了15天，而且是在太子楼。这就与民间的传说不谋而合，因为传说中的藏宝地就在离太子楼几十米远的一堆巨石中。但要想获取巨石中的宝藏，必须要破解这组摩崖石刻上的文字。
当地人传说宋皇室离岛时，曾于石室内藏有金银财宝，若有能将石壁上的文字念成文，释其义者，则石壁会自动开启，里面的宝藏归他所有。时至今日，因年代久远，石壁剥蚀严重，现巨石上总共留下了35个文字，而且字迹残缺不全，很难辨认，也几乎让人难以读懂。历经沧桑，太子楼所藏金银财宝至今仍不见被取走。
