Ruiny dawnego Zamku Krzyżackiego z XIV w. przy ul. Zamkowej – w odległych czasach na wysepce Jeziora Ełckiego powstała pierwsza strażnica Jaćwingów.
W latach 1398-1406 na jej miejscu Krzyżacy wznieśli najpierw drewniany, a potem kamienny zamek. Jego budowę nadzorował ówczesny komtur, późniejszy Wielki Mistrz Zakonu – Urlich von Jungingen. Po sekularyzacji zakonu w 1525 roku ełcki zamek stał się siedzibą starosty, potem także sądów. Duży pożar w 1833 roku wymusił remont, który zmienił zasadniczo wygląd dawnej warowni. W XIX wieku wyspę połączono groblą i mostem z lądem, a zamek krzyżacki zaczął pełnić rolę więzienia dla kobiet. Obecnie całkowicie zatracił swój pierwotny styl i czeka na renowację. Według legendy pod dnem Jeziora Ełckiego przebiega tunel podziemny, który łączy zamek krzyżacki z miastem. Mówi się, że za pomocą tego przejścia ludność miasta znalazła schronienie w murach zamku, gdy podczas “potopu szwedzkiego” okoliczne tereny najechali Tatarzy.