Es Castell trae su origen del arrabal que se formo extramuros del grandioso castillo de San Felipe, mandado construir por el emperador Carlos V en 1554 para proteger la entrada al puerto de Maó. Como que el arrabal estorbaba en las operaciones bélicas contra el castillo, los ingleses lo trasladaron a un lugar más apartado con el nombre de Gorgetown, en honor a su rey Jorge III, por esto el escudo de la villa campea la figura de San Jorge, patrón de Gran Bretaña.
Durante el breve periodo español del siglo XVIII, el pueblo se llamó Real Villa de San Carlos (Villacarlos), por el rey Carlos III, aunque el castillo hubo de ser derruido en 1782 por imposición de las potencias europeas, celosas de que las mejores fortalezas estuvieran en poder de España, la denominación vulgar del pueblo es aún "Es Castell".
A poco trecho de la villa pueden admirarse las grandes galerías subterráneas, que nos dan alguna idea de la grandiosidad de aquel castillo, que tuvo parte tan importante en la historia de Menorca.
Tanto o más que Maó, tiene Es Castell un aspecto muy militar. Antiguamente era una población de pescadores y marineros. Hoy la mayoría de sus habitantes acuden al cercano Maó para su trabajo y diversiones.
Es Castell es la población menorquina que conserva mayor número de apellidos peninsulares, que dejaron los soldados que desde el siglo XVI formaban la guarnición del castillo y que aquí quedaban avecinados. Villacarlino fue el máximo representante de las letras menorquinas, D. Ángel Ruiz y Pablo, tan admirable en prosa como en verso, en castellano como en catalán literario y en dialecto insular.
Es Castell está asomada al puerto de Maó, y siendo una población pequeña posee dos puertos naturales, Cales Fonts y Cala Corb. El trazado de la urbanización es moderno, en torno a una gran plaza, presidida por el Ayuntamiento con su torre reloj y rodeada de cuarteles.