Durante todo o período colonial, com cultivo nas fazendas de Ilhabela baseado na mão-de-obra  escrava, foi grande o fluxo de navios negreiros para o arquipélago. O solo extremamente fértil, e a abundância de cachoeiras para mover rodas d´água, fizeram da Ilha um excelente local para a construção de engenhos de cana-de-açúcar. O primeiro engenho foi instalado aqui por Francisco Escobar Ortiz, em 1608. No final do século 17 já havia 5 engenhos produzindo açúcar, e 17 de aguardente.

Não há registro do número de habitantes ou escravos antes de 1808, quando o povoado local foi elevado à condição de Villa Bella. Contava então cerca de 3.000 habitantes, e o número de escravos beirava os 2.000. A população negra cresceu de maneira constante até 1850, quando o tráfico de negros da África para o Brasil foi proibido. Daí até 1888, com a definitva libertação dos escravos no Brasil, Ilhabela lucrou muito com o comércio ilegal de escravos. O número de negros na região explodiu. Calcula-se que cada uma das 20 fazendas da Ilha possuia mais de 500 escravos, o que elevaria o total para cerca de 10.000.

Devido à sua geografia, com a face habitada muito próxima do continente, e a outra, inóspita e inacessível, voltada para mar aberto, a Ilha transformou-se em entreposto de escravos ilegalmente trazidos da África. A baía de Castelhanos recebia os navios negreiros vindos diretamenteda África, que desembarcavam sua carga em imensos ancoradouros construídos especialmente para esse fim, como o da antiga Fazenda da Lage Preta. Os negros eram então obrigados a enfrentar as picadas que cruzavam as altas montanhas da Ilha, em direção às fazendas da beira do canal. Esse comércio ilegal cresceu, prosperou e gerou fortuna entre os fazendeios locais, que vendiam esses negros contrabandeados no continente como se fossem nascidos em suas terras.

Entre as antigas histórias da Ilha envolvendo escravos, a mais sugestiva talvez seja a da Feiticeira, que acabou dando nome à praia no lado sul do Canal. Conta-se que a proprietária da fazenda São Mathias, cuja sede encontra-se hoje no canto esquerdo dessa praia, era uma mulher bela e solitária, que havia acumulado fortuna como receptadora dos saques de piratas, que nela confiavam para vender os bens tomados aos navios que abordavam em alto mar, e  acobertando  comandantes de navios negreiros, que após 1850, com a proibição do tráfico de escravos africanos, utilizavam a Ilha como ponto preferido de entrada de escravos ilegais no Brasil.

Na velhice, alvo da inveja dos moradores locais, que a apelidaram de feiticeira por viver solitária,  numa época em que isso era algo inconcebível para uma mulher, ela decidou esconder parte de seus tesouros na selva. Partiu chefiando uma grande caravana de escravos, e se embrenhou nas matas por várias semanas, de onde voltou totalmente só _teria enterrado os tesouros e matado os homens um a um, para que ninguém jamais soubesse onde as riquezas foram enterradas. Depois do episódio, teria enlouquecido e desaparecido, deixando para trás o mistério de seu tesouro e o nome de sua praia.