Il Castello a Mare, dal quale Castellammare di Stabia trae il nome, sorge a 100 mt. di altitudine sul mare, alle cui spalle si stagliano imponenti duomi di rocce (i contrafforti dal Faito), che si innalzano verticalmente sino a 650 mt.
Il Castello sorse a guardia del ristretto tratto di costa per il quale soltanto – tra l'impervia montagna ed il mare – sarebbe potuto transitare un esercito avente il compito operativo di inoltrarsi nella Penisola Sorrentina.
Il nome di "Castello a Mare" appare per la prima volta in un documento del 1086, prova documentale che il Castello già da tempo esisteva.
Costruito dal Duca di Sorrento, di osservanza bizantina, come fortezza di frontiera del suo dominio, subì, nel corso di quattro secoli (dal XI al XV) varie trasformazioni imposte dall'evolversi delle diverse tecniche dell'arte della guerra.
L'aspetto odierno gli venne dato dall'ultima trasformazione subita nel 1470, al fine di rendere il fortilizio atto a sostenere gli attacchi delle artiglierie.
Ai primi del '500 fu aggiunto per la postazione delle bocche di fuoco, il "rivellino" bastionato prospiciente il fossato esterno colmo d'acqua.
Il "Castrum de Stabiis ad Mare" era il caposaldo di un complesso sistema difensivo comprendente, tra l'altro, i castelli di Gragnano, Lettere e Pimonte ed aveva diverse torri dislocate sul terreno antistante, tra cui una torre di notevole mole che sorgeva sul lido, collegata mercé un camminamento corrente sulla muraglia che dal Castello scendeva a tale torre.
A somiglianza di Castel Nuovo di Napoli, il Castello a Mare di Stabia deve essere considerato un'opera medioevale, anche se fu attrezzato a difesa in epoca aragonese: al secolo XV ed anche alla prima metà del secolo XVI risalgono, infatti, quei contrafforti scarpati di rinforzo ai basamenti delle preesistenti torri.
Nel sec. XV, per la strategia ad ampio raggio ed in appoggio alla dislocazione dei navigli e delle flotte in mare, la fortezza di Castellammare non era di poco conto, sì da essere inserita nella Cronaca Napoletana figurata del '400 edita a cura del Filangieri di Candida.
I tre stemmi che nel corso dei secoli ha avuto Castellammare, recano tutti la raffigurazione schematizzata del Castello.
È anche da ricordare che la seconda delle quattro cattedrali di Castellammare di Stabia era situata nell'ambito del complesso fortificato, ove risiedevano i vescovi succedutisi, che in essa officiarono dal' 840 al 1362.
Al tempo della congiura dei Baroni, la rocca fu consegnata (ottobre 1459), senza resistenza alcuna, dal castellano, il catalano Gaillard, alle truppe di Giovanni d'Angiò, figlio di Renato. Lo stesso Gaillard difese poi, valorosamente e vittoriosamente il Castello nel 1461 per gli Angiò, contro Antonio Piccolomini, Duca di Amalfi, che aveva vinto, alle foci del Sarno, gli armati angioini ed aveva occupato il 23 ottobre la città.