Ilhabela registrou alta atividade de piratas desde 1553, no período inicial da colonização do Brasil. As caravelas portuguesas, que por aqui passavam rumo aos portos de Santos e São Vicente, eram um grande atrativo para piratas de todos os quadrantes. Corsários ingleses como Thomas Cavendish, Francis Drake e Edward Fonton, ou holandeses como Lourenço Brear, costumavam utilizar as águas calmas do Saco do Sombrio para esconder seus navios e esperar que embarcações comerciais passassem ao largo da baía de Castelhanos.
A posição privilegiada do Sombrio permitia que os piratas saíssem de sua tocaia e caíssem sobre suas presas sem serem notados. Suas águas calmas e transparentes, repletas de peixes e com água doce em abundância, fizeram do lugar um esconderijo ideal para os ladrões do mar. Por tudo isso, não são poucas as lendas de tesouros enterrados pelos corsários nas trilhas que cruzam a mata no lado leste da Ilha.
Em 1582, o padre José de Anchieta, que ia de Santos ao Rio de Janeiro numa grande canoa conduzida por índios, desembarcou às pressas na Ilha para fugir da perseguição do corsário inglês Edward Fonton, que já havia saqueado vários navios na região. Mas a história mais saborosa de atividade de piratas na Ilha conta as aventuras de Thomas Cavendish a serviço da rainha Elizabeth I da Inglaterra.
Em 1591 Cavendish deixou o porto de Plymouth, na Inglaterra, com cinco navios e mais de 400 homens, e rumou para Ilhabela. O objetivo inicial da esquadra era atacar a Vila de Santos, e a frota ancorou aqui na Ilha para se reabastecer e arquitetar seus planos. O ataque foi armado para a noite de Natal desse ano, quando dois navios ingleses entraram na pequena vila e aprisionaram toda sua população, que então assistia à Missa do Galo na igreja local.
Com a cidade dominada, o resto da esquadra foi chamada em Ilhabela para realizar a pilhagem. Os piratas permaneceram ali, dominando os habitantes e a guarnição militar portuguesa até 3 de fevereiro de 1592, quando partiram rumo ao Estreito de Magalhães para tentar a circunavegação do globo _Cavendish já havia realizado a façanha, pelo que era considerado um herói na corte da rainha Elizabeth.
A esquadra quase foi dizimada pelas tormentas no extremo sul do continente. Dois navios afundaram, e os três remanescentes se perderam uns dos outros. Cavendish retornou com seu galeão Leicester para Ilhabela, em busca de abrigo seguro para reparar o navio e reabastecê-lo. Aqui encontraram outro navio de sua esquadra, o Roembuck, e aportaram. Poucas semanas depois tiveram que enfrentar uma esquadra portuguesa chefiada por Martim Corea de Sá, que veio combatê-los. Fugiram para o norte, na direção do Espírito Santo, e retornaram a Ilhabela alguns meses depois, com o projeto de queimar um dos navios, equipar o outro e seguir novamente para o Estreito de Magalhães.
Com medo, parte da tripulação amotionou-se e se refugiou na Ilha. O capitão do navio Roembuk, Abraham Cocke, teria descido definitivamente em Ilhabela com seus homens. O fato é que nunca mais se ouviu falar deles. Cavendish tentou retornar à Inglaterra com o Leicester, mas morreu doente à bordo, no final de 1592, antes do navio alcançar seu destino.