Ceglany zamek, założony na planie czworoboku z wieżą we wschodnim narożu, powstał nad brzegiem Wisły w końcu XIV w. zbudowany przez Krzyżaków, którzy kupili Bobrowniki w 1392 r. W latach 1408 - 1411 trzykrotnie przechodził z rąk do rąk, ostatecznie (po pokoju toruńskim) znajdując się w granicach Polski. Mimo pełnienia w następnych wiekach funkcji siedziby starostów grodowych, nie został nigdy w pełni odbudowany i w XVIII w. był już ruiną.
Częściowa rozbiórka w XIX w. i postępująca dewastacja w kolejnym stuleciu, pozostawiły niewielkie fragmenty murów z częścią cylindrycznej wieży.