Głównym walorem turystycznym tego miasteczka jest dawny układ architektoniczny oraz specyficzna atmosfera małego miasta. Do dziś czytelne są średniowieczne założenia grodu obronnego, położonego na wzgórzu, wokół którego meandruje Wietcisa. Zachowane są też obwarowania miejskie wraz z pozostałościami joannickiego zamku oraz kilkunastoma, głównie XIX-wiecznymi budowlami. Obiektami, które warto w Skarszewach zobaczyć są: zamek, oba kościoły, system obwarowań oraz kościółek wybudowany w 24h.