Mieściła się tu także kaplica wzmiankowana jeszcze w 1628 r. Na dziedzińcu znajdowała się studnia.

Prawdopodobnie na przełomie XIV i XV w. zamek został otoczony od północy, wschodu i południa murem obronnym z cylindrycznymi basztami w narożnikach, przystosowanymi do wykorzystywania broni palnej; od strony miasta wybudowano mur przed wejściem do zamku. Około połowy XV w., w murze otaczającym zamek wybudowano dwie bramy z mostami zwodzonymi - południową i wschodnią, zamurowane po zdobyciu zamku przez mieszczan w 1454 r. W zamku i przylegającej do niego części miasta nazwanej Nowym Miastem istniały m.in. piekarnia, kuchnia, młyn, słodownia i browar, skład mięsa i zboża, spiżarnia, zbrojownia i prochownia oraz więzienie, wzmiankowane w 1564 r.

Po 1525 r. zamek został siedzibą starostwa książęcego. Przed 1566 r. przebudowano skrzydło zachodnie zamku, a w 1622 r. wewnątrz dziedzińca wybudowano owalną wieże z klatką schodową.
W 1682 r. rozebrano dwie górne kondygnacje skrzydła północnego, zrównując jego wysokość z pozostałymi skrzydłami budowli. Być może wtedy także zasypano część piwnic pod skrzydłami wschodnim i południowym. Śad po dawnym zejściu do piwnic w skrzydle południowym widoczny jest jeszcze dzisiaj w murze w południowo-wschodnim narożniku zamkowego dziedzińca.

W XVIII i XIX w. zamek z leżącym przy nim folwarkiem był siedzibą domeny królewskiej. W tym okresie przebudowywano go dostosowując do pełnienia funkcji mieszkalnych. W miejsce gotyckich okien wykonano nowe, znacznie szersze.

15 grudnia 1797 r. w zamku miał miejsce wielki pożar. W latach 1911-1912, po kupnie obiektu przez miasto, zamek ponownie przebudowano, przeznaczając większość pomieszczeń na mieszkania. Wówczas także znajdował się tu lokal biurowy 3. Brygady Piechoty. Pod koniec lat 30-tych XX w. na zamku prowadzone były drobne prace konserwatorskie.

Przed drugą wojną światową znajdował się tu urząd finansowy i mieszkania urzędników. W początku lat 40-tych zachodnią część piwnic pod skrzydłem północnym przebudowano na schron przeciwlotniczy. W końcu stycznia 1945 r., po zajęciu miasta przez wojska radzieckie zamek i większa część staromiejskiej zabudowy miasta zostały spalone.

W czasie ostatniej wojny zamek uległ zniszczeniu. Odbudowany w latach 60 odzyskał gotycki charakter dzięki podwyższeniu dachów, skrzydeł południowego i wschodniego oraz dodaniu jednego piętra z gotyckimi szczytami i spadzistym dachem w skrzydle północnym.
Obecnie wewnątrz zamku mieści się ciekawe muzeum im. Wojciecha Kętrzyńskiego  z kolekcją obrazów, rzeźb, mebli zabytkowych  z okresu od XV do XIX wieku i Biblioteka Miejska.