Руины старинного Замка крестоносцев с XIV в. по ул. Замковой – в стародавние времена на островке Элцкого озера возникла первая пограничная застава ятвягов.

В 1398-1406 гг. на ее месте рыцари-крестоносцы возвели сначала деревянный, а потом каменный замок. Его строительство курировал тогдашний командор, позднее Великий магистр Ордена – Ульрих фон Юнгиген. После секуляризации ордена в 1525 году элцкий замок стал выполнять функцию управления старосты, а затем также судов. Из-за большого пожара в 1833 году пришлось провести ремонт, который кардинально изменил вид прежней крепости. В XIX веке остров соединили плотиной и мостом с сушей, а замок крестоносцев стал играть роль женской тюрьмы. К настоящему времени замок полностью утратил свой первоначальный облик и ждет реставрации. По легенде под дном Элцкого озера проходить подземный туннель, который соединяет рыцарский замок с городом. Говорят, что с помощью этого туннеля население города нашло убежище в стенах замка, когда во время “шведского потопа” окрестные населенные пункты пострадали от татаро-монгольских набегов.