Najstarszą budowlą w Karłowicach jest niewątpliwie zamek górujący nad okolicą cylindryczną wieżą o wysokości dochodzącej do 25 m. Pierwotnie gotycki, wzniesiony w pierwszej połowie XIV wieku na rzucie trapezu, przebudowany po przejęciu przez Piastów oraz w XVIII i XIX wieku. W XVIII wieku zmiany dotyczyły głównie dobudowania do zewnątrz (do obwodu murów) budynków mieszkalnych W 1715 roku przebudowana została również kaplica zamkowa, dzięki czemu powstał kościół katolicki w stylu barokowym.

Najstarszym elementem zamku jest oczywiście wieża „wtopiona" w mur kurtynowy. Jako materiału budowlanego w jej dolnej części użyto cegły o formacie 27 cm x 12,5 cm x 9 cm. Ściany wieży w przyziemiu osiągają grubość 2,5 metra. Zwieńczenie wieży z półkolistymi oknami pochodzi z przełomu XIX i XX wieku. Nad oknami wznosi się wysmukły dach stożkowy. Ten potężny, murowany walec, miał kiedyś stanowić, na wypadek zagrożenia, silny punkt oporu. Wykorzystywany też był, jak wskazują na to źródła (Tomczyk, 1996), jako więzienie.

Wokół zamku znajdowała się fosa, która pierwotnie łączyła się z nurtem rzeki Stobrawy, przepływającej wzdłuż frontu budynku. Do chwili obecnej zachowały się tylko jej zarysy, ponieważ dno fosy zostało wypełnione naniesionym przez rzekę piaskiem. Na terenie objętym fosą znajduje się niewielki park krajobrazowy z XIX wieku z figurą św. Jana Nepomucena. W sąsiedztwie zamku znajduje się budynek bramny, spichlerz oraz młyn wodny z połowy XIX wieku.

Zamek aktualnie stanowi własność prywatną i nie jest udostępniony do zwiedzania ale cenne pamiątki z jego wnętrza i przyzamkowej kaplicy można oglądać w Muzeum Piastów Śląskich w Brzegu.