Zamek zbudowano w XIV wieku za czasów Kazimierza Wielkiego i Ludwika Węgierskiego. Wzniesiono go w miejscu istniejącego dworu książęcego w stylu gotyckim z elementami wczesnorenesansowymi. Główny budynek zamku w południowo-zachodnim narożniku murów przylega do murów miejskich czołową zachodnią ścianą. We wschodniej partii murów usytuowany jest budynek bramy wjazdowej. 
  Był to dwukondygnacyjny budynek na rzucie prostokąta z kwadratowym ryzalitem od południa w którym mieściła się kaplica zamkowa. Wewnątrz znajdowały się pomieszczenia na dwóch kondygnacjach o drewnianych stropach. Górną kondygnację od strony murów nazwano Salą Rycerską. W głównej części zamku mieściła się sala z czterema oszklonymi oknami, dwa stoły i ławy kamienne oraz kominek. 
   Za panowania Zygmunta III zamek służył na czas pobytu monarchy w Szydłowie jako mieszkanie królewskie.
Ostatecznemu zniszczeniu zamek uległ podczas przemarszu wojsk napoleońskich. W 1946 r. zrekonstruowano górne fragmenty i zabezpieczono budowlę nadając całości charakter trwałej ruiny.

   W zachodniej części dziedzińca zamkowego znajduje się Skarbczyk – budynek przerobiony prawdopodobnie w XVI w. z dawnej baszty. Obecnie mieści się tu muzeum.

   Kościół p.w. św. Władysława został zbudowany ok. 1355 r. na miejscu wcześniejszego, drewnianego. Położony jest obok południowo-wschodniego  narożnika murów miejskich, z wejściem na cmentarz przykościelny przez murowaną bramę z XVIII wieku. Pierwotnie kościół był budowlą halową, dwunawową, z dwoma słupami umieszczonymi na osi prezbiterium. W 1630 r. świątynia została zniszczona przez pożar wskutek którego prawdopodobnie zawaliły się sklepienia. W ciągu trzech lat kościół odrestaurowano, jednakże pierwotny wygląd przywrócono jedynie prezbiterium. Wnętrze zostało otynkowane, zniszczone laskowania okienne usunięto i zastąpiono drewnianymi oknami. Dach pokryto drewnianym gontem.
   Kolejne zniszczenia dotknęły farę w czasie walk w 1944 r., kiedy to spłonęły m.in. wszystkie dachy. W latach 1945–1948 kościół odrestaurowano. W trakcie prac odkryto dwa XIV-wieczne gotyckie portale.

   Dzwonnica przy kościele św. Władysława powstała na skutek przebudowy dawnej baszty miejskiej w 1724 r. o czym świadczy wyryta wewnątrz niej data. Posiada zachowane wąskie, prostokątne otwory strzelnicze i ślady wejścia na poziom chodnika straży, znajdującego się na murach obronnych. 

   Jednym z najciekawszych zabytków Szydłowa, jest pochodzący prawdopodobnie z XIV wieku położony na Przedmieściu Krakowskim kościół p.w. Wszystkich Świętych. Mimo częściowej przebudowy zachował gotycki charakter. Posiada prostokątną nawę oraz krótsze i węższe prezbiterium, przy którym dobudowano później zakrystię. Również późniejszy jest przedsionek przy nawie od zachodniej strony. 
   W 1946 r. we wnętrzu odkryto pozostałości gotyckiej polichromii figuralnej z ok. 1375 roku, nad którą obecnie trwają prace renowacyjne. Są to sceny z Nowego Testamentu, m.in. najlepiej zachowane „Siedem radości Maryi”, sceny pasyjne i sceny obrazujące siedem grzechów głównych. 

   W północnej części średniowiecznego miasta znajduje się synagoga. Zbudowana z kamienia łamanego w poł. XVI w. zachowała wystrój z XVIII w. Podczas II wojny światowej w bożnicy składowano broń i żywność, po wojnie została adaptowana na kino wiejskie.
   We wnętrzu synagogi znajduje się Aaron ha Kodesz – miejsce w które rabin wkładał Torę po zakończonej modlitwie. Pod tynkami znajdują się resztki polichromii i kilka dat. W ścianie wschodniej znajdował się późnorenesansowy (pocz. XVII w.) ołtarz na rodały (święte księgi). Także z tego okresu, przy wejściu w ścianie zachodniej, prostokątne wnęki na ogień i skarbonę.
   W synagodze można oglądać eksponaty związane z kulturą żydowską: w szczególności przedmioty i księgi religijne.