প্রাসাদের মূল অংশ এবং সংলগ্ন কিছু ভবন নির্মাণ করেছিলেন রাজা দয়ারাম রায়। রাজবংশের ষষ্ঠ রাজা প্রমদানাথ রায়ের আমলে ১৮৯৭ সালের ১০ জুন নাটোরের ডোমপাড়া মাঠে তিনদিনব্যাপী বঙ্গীয় প্রাদেশিক কংগ্রেসের এক অধিবেশন আয়োজন করেন। বিশ্বকবি রবীন্দ্রনাথ ঠাকুরসহ অনেক বরেণ্য ব্যক্তি এ অধিবেশনে আমন্ত্রিত অতিথি হিসেবে যোগ দেন। অধিবেশনের শেষ দিন ১২ জুন প্রায় ১৮ মিনিটব্যাপী এক প্রলয়ংকরি ভূমিকম্পে রাজপ্রাসাদটি ধ্বংসস্তুপে পরিণত হয়। পরে রাজা প্রমদা নাথ রায় ১৮৯৭ সাল থেকে ১৯০৮ সাল পর্যন্ত ১১ বছর সময় ধরে বিদেশী বিশেষজ্ঞ, প্রকৌশলী ও চিত্রকর্ম শিল্পী আর দেশী মিস্ত্রিদের সহায়তায় সাড়ে ৪১ একর জমির উপর এই রাজবাড়ীটি পুনঃ নির্মাণ করেন।