Los primeros en asentarse en sus ruinas fueron piratas que llegaron huyendo de las aguas intranquilas. La usaron como fortaleza y comenzaron a reconstruirla con los cascos y maderos que encontraron entre los restos de los naufragios, aprovechando los pocos muros que aún seguían en pie.