
Krzyżacy zaczęli budować w Bytowie murowany zamek już w 1390 roku. Właściwe prace budowlane przeprowadzono w latach 1398–1406 pod kierunkiem Mikołaja Fellensteina a kilka kolejnych lat trwały jeszcze prace wykończeniowe. Zamek wzniesiono na planie prostokąta o wymiarach 49×70 metrów z kamieni i cegły. W narożach powstały 3 okrągłe baszty (Młyńska, Różana oraz Polna) i jedna kwadratowa wieża (Prochowa) od północy. Przy skrzydle północno-zachodnim postawiono trzypiętrowy, podpiwniczony dom mieszkalny („Dom Zakonny”). W budynku tym znajdowały się najważniejsze pomieszczenia, takie jak refektarz, kaplica i mieszkanie prokuratora, magazyny, kuchnię.
Brama wjazdowa została wzniesiona od strony północno-wschodniej. Przed bramą wjazdową wykopano fosę, nad którą przerzucono niezachowany do dziś most zwodzony. W narożnikach skrzydeł znajdowały się potężne baszty i wieża. Warownia pozwalała zastosować do obrony broń palną, co było ówcześnie novum. W zamku na stałe przebywało od kilku do kilkunastu rycerzy zakonnych wraz z ich giermkami i knechtami. Pełna załoga zamku składała się z kilkudziesięciu osób.