История замока берёт своё начало в IX веке, когда викинги разрушили первые укрепления и деревню около 879 года.
В 1085 Роберт Фризский (Robrecht de Fries), 9-й граф Фландрии, построил восьмиугольную деревянную крепость, которая и послужила основой замка.
Его внук, Болдуин VII (Baldwin VII) Фландрский использовал замок как один из своих главных дворцов правосудия вплоть до своей смерти в 1119 году.
После смерти Болдуина Вейнендале перешёл к его племяннику, Шарлю Хорошему Бургундскому (Charles le Bon), а потом к Ги Дампьерскому (Guy of Dampierre), Графу Флоандрии, намюра и Люксембурга, который отстроил замок в камне около 1278 года и провёл в нём большую часть всоей жизни.
Замок был захвачен королём Филиппом IV Французским в 1300 году, затем, через два года, осажден и взят обратно фламандцами под предводительством наследника Ги Дампьерского - Джоном Намюрским.
Впоследствии замок стал собственностью Марии Бургундской, которая трагически погибла в возрасте 25 лет в результате падения с лошади. Она была замужем за Адольфом Клеве (Adolphe of Clèves), и семья Клеве унаследовала замок и восстановила его.