Op de plaats waar in 1820 Fort Jutphaas werd gebouwd, stond tot kort tevoren nog kasteel Plettenburg. Afgaande op zeventiende-eeuwse bronnen wordt aangenomen dat dit kasteel in of rond 1300 gesticht zou zijn. Op de betreffende plaats stond in elk geval in 1394 een huis.
Op 10 oktober 1481 vond een inval plaats in Jutphaas, waarbij onder andere Plettenburg vlam vatte. Hoeveel schade het huis precies geleden heeft, is onbekend.
Ergens in de periode tussen 1597 en 1615, waarschijnlijk in 1613, werd op deze plaats een geheel nieuw huis gebouwd. Uit oude afbeeldingen valt op te maken dat het een huis met twee haaks op elkaar staande vleugels betrof. De vleugels telden twee lagen: de begane grond en een verdieping. In de muren waren verschillende ramen met vier ruitjes aangebracht, in die tijd een teken van rijkdom. Boven de vensters waren in natuur- en baksteen accenten aangebracht. In de hoek tussen de twee vleugels stond een achthoekige toren. De ingangspartij lag aan de noordzijde, in het midden van deze vleugel. Hierboven was een grote dakkapel aangebracht, die deel uit leek te maken van de gevel. Deze was voorzien van een driehoekige bekroning, met daarnaast twee obelisk-achtige spitsen. Bovenop de bekroning was waarschijnlijk een beeld of beeldengroep geplaatst. Voor het gebouw lag een rechthoekig binnenplein, dat door muren werd omringd.
In de loop der jaren raakte het kasteel in verval en uiteindelijk deden de toenmalige eigenaren in 1819 afstand van de restanten van kasteel Plettenburg. Volgens bronnen uit die tijd was het geheel toen in zeer slechte staat. In 1820 zouden de overblijfselen van het kasteel plaats moeten maken voor Fort Jutphaas.
