名為“寶瑞祖屋”的許姓祖厝大門口有一座高約1米、徑約2米余、裂為5瓣的天然大石，酷肖一朵蓮花，名曰“福蓮到石”。據說這是當年江夏侯周德興選擇的風水，又說這里是城的中心點，稱之為“城臍”。寶瑞祖屋內有一方碑刻，上記：“我開基始祖福進公于元末由梧坑遷居科任祥光山……傳至八世子帶公，諱仕紳，號本正，分居瑤城，俗稱‘石城’……十世岳鎮(zhèn)公，諱鑰北，號關西，生于隆慶六年十月二十日，卒于萬歷四十五年八月二十日，授徵仕郎，后出任廣西南寧府宣化縣正堂。萬歷三十六年覃恩頂戴回鄉(xiāng)謁祖，建府第，筑城垣，始稱瑤城……城高丈余，設東西南北門，東門外有校場，城中有花園、古井……”據這段文字，可知俗稱“后城”的烏潯司城又叫“石城”，還有一個雅稱叫“瑤城”，這可能與它是用當地盛產的花崗巖砌筑有關。

有城就有城隍廟，烏潯城隍廟位于城西北，三開間一進，東面并列一間廂房，坐北朝南?，F廟為20世紀90年代重建，門前分別嵌有民國37年（1948年）重修城隍廟及新建東宮房樂捐者芳名錄碑和1990年刻的廟志碑，門匾鐫“瑤城福地”，楹聯鐫“善惡不爽錙銖，爾欲欺心神未許；吉兇豈饒分寸，君能昧己我難瞞”“善惡到此難瞞，不必案前多叩首；瑕瑜從來瞭徹，豈容臺下細搖唇”，可見這里城隍神的職司已由捍衛(wèi)邊境轉化為獎善罰惡。神櫥內安奉神像，上掛彩幛，繡“福全城隍公”“敕封忠佑侯”。烏潯不奉本司城隍而敬奉福全所城隍，這大概與烏潯司本歸福全所管轄有關。城隍廟后有一垛巖石，稱“野貓石”。相傳過去司城將官殺人常選在這大石上，揮刀把人頭一砍，然后就一腳踢下山崖——論理處置人犯生死這樣的大事還輪不到巡檢司這最低一層，可是居然為人們所習見，舊時代的草菅人命由此可以證實。

到了清代，烏潯城仍作為一處海上防御的要寨。直到20世紀50年代，城墻被拆掉，城址上建起一幢幢民宅，城西南成為村中集市，僅存東門一小段石砌城墻和通往海邊校場的一段石棧道，默默地數說著古老的歷史。