A Castles of Mad King Ludwig során a játékosok feladata, hogy egy gyönyörű kastélyt építsenek Bajorország urának, II. Ludwig királynak.
A játékosok egy-egy építészt személyesítenek meg, és szobáról-szobára építik meg a hatalmas kastélyt. Az építkezés során, a játékosok késtélypontokat gyűjtenek az alapján, hogy egy-egy szoba mennyire tetszik az őrült királynak.
A játék véget ér, amint minden szoba a helyére került. Természetesen a legtöbb kastélyponttal rendelkező játékos nyeri a játékot.