Es Castell porta el seu origen del raval que es va formar extramurs del grandiós castell de Sant Felip, manat construir per l'emperador Carles V a 1554 per protegir l'entrada al port de Maó. Com que el raval feia nosa a les operacions bèl·liques contra el castell, els anglesos el van traslladar a un lloc més apartat amb el nom de Gorgetown, en honor al seu rei Jorge III, per això l'escut de la vila campeja la figura de Sant Jordi, patró de Gran Bretanya.
Durant el breu període espanyol del segle XVIII, el poble es va cridar Reial Vila de Sant Carles (Villacarlos), pel rei Carles III, tot i que el castell va haver de ser derruït en 1782 per imposició de les potències europees, geloses de que les millors fortaleses en poder d'Espanya, la denominació vulgar del poble és encara "Es Castell".
A poc tros de la vila poden admirar les grans galeries subterrànies, que ens donen alguna idea de la grandiositat d'aquell castell, que va tenir part tan important en la història de Menorca.
Tant o més que Maó, té Es Castell un aspecte molt militar. Antigament era una població de pescadors i mariners. Avui la majoria dels seus habitants van al proper Maó per al seu treball i diversions.
Es Castell és la població menorquina que conserva major nombre de cognoms peninsulars, que van deixar els soldats que des del segle XVI formaven la guarnició del castell i que aquí quedaven avecinados. Villacarlino va ser el màxim representant de les lletres menorquines, D. Àngel Ruiz i Pablo, tan admirable en prosa com en vers, en castellà com en català literari i en dialecte insular.
Es Castell està abocada al port de Maó, i sent una població petita posseeix dos ports naturals, Cales Fonts i Cala Corb. El traçat de la urbanització és modern, al voltant d'una gran plaça, presidida per l'Ajuntament amb la seva torre rellotge i envoltada de casernes.
