প্রাসাদের মূল অংশ এবং সংলগ্ন কিছু ভবন নির্মাণ করেছিলেন রাজা দয়ারাম রায়। রাজবংশের ষষ্ঠ রাজা প্রমদানাথ রায়ের আমলে ১৮৯৭ সালের ১০ জুন নাটোরের ডোমপাড়া মাঠে তিনদিনব্যাপী বঙ্গীয় প্রাদেশিক কংগ্রেসের এক অধিবেশন আয়োজন করেন। বিশ্বকবি রবীন্দ্রনাথ ঠাকুরসহ অনেক বরেণ্য ব্যক্তি এ অধিবেশনে আমন্ত্রিত অতিথি হিসেবে যোগ দেন। অধিবেশনের শেষ দিন ১২ জুন প্রায় ১৮ মিনিটব্যাপী এক প্রলয়ংকরি ভূমিকম্পে রাজপ্রাসাদটি ধ্বংসস্তুপে পরিণত হয়। পরে রাজা প্রমদা নাথ রায় ১৮৯৭ সাল থেকে ১৯০৮ সাল পর্যন্ত ১১ বছর সময় ধরে বিদেশী বিশেষজ্ঞ, প্রকৌশলী ও চিত্রকর্ম শিল্পী আর দেশী মিস্ত্রিদের সহায়তায় সাড়ে ৪১ একর জমির উপর এই রাজবাড়ীটি পুনঃ নির্মাণ করেন।

সাড়ে ৪১ একর জায়গাজুড়ে বিস্তৃত প্রাসাদটি পরিখা ও উচু প্রাচীর ঘেরা। প্রাসাদের পূর্বপাশে পিরামিড আকৃতির চারতলা প্রবেশদ্বার রয়েছে যা উপরের দিকে সরু হয়ে গেছে এবং এর উপরে একটি ঘড়িও রয়েছে। মধ্যযুগীয় বাংলাদেশের অন্যান্য সামন্ত প্রাসাদের মতোই নাটোরের রাজবাড়ীতে রয়েছে দীর্ঘ প্রবেশ পথ যার দু ধারে বোতল পামের সুবিন্যাস লক্ষনীয়। নাটোরের ঐতিহাসিক দিঘাপতিয়ার রাজবাড়ী বর্তমানে উত্তরা গণভবন। প্রায় তিনশত বছরের প্রাচীন ঐতিহাসিক ঐতিহ্যবাহী দিঘাপাতিয়া রাজবাড়ীটি নাটোরের উত্তরা গণভবন নামে পরিচিত। বাংলাদেশের প্রাচীন ঐতিহাসিক নিদর্শনগুলোর মধ্যে অন্যতম নাটোর দিঘাপতিয়ার উত্তরা গণভবন। দিঘাপতিয়া রাজবংশের প্রতিষ্ঠাতা ছিলেন দয়ারাম রায়। তিনি নাটোরের রাজা-মহারাজ রামজীবনের একান্ত অণুগত একজন দেওয়ান ছিলেন। নাটোর রাজের উত্থানে দয়ারাম রায় অসামান্য ভূমিকা রাখায় ১৭০৬ সালের দিকে রাজা রামজীবন উপহার হিসেবে বাসস্থানের জন্য তাকে দিঘাপতিয়ায় কিছু জমি দান করেন। পরবর্তীতে জমিদার ও রাজা হওয়ার পর ১৭৩৪ সালে দয়ারাম রায দিঘাপতিয়া রাজবংশের প্রতিষ্ঠা করেন।

উত্তরা গণভবনের প্রবেশ পথের বিশাল ফটকটি আসলে একটি বিরাটাকৃতির পাথরের ঘড়ি। ঘড়িটি রাজা দয়ারাম সেই সময় ইংল্যান্ড থেকে আনিয়েছিলেন। ঘড়িটির পাশে রয়েছে একটি বড় ঘণ্টা। এক সময় এই ঘণ্টাধ্বনি বহুদূর থেকে শোনা যেতো। প্রাসাদের ভিতর বহু প্রাচীন ও দুর্লভ প্রজাতির গাছের সমাবেশ ও সমারোহ। ঢাকার জাতীয় স্মৃতিসৌধের শোভাবর্ধনকারী রোপণকৃত ফুল ব্রাউনিয়া ও ককেসিয়া এখানকারই। এছাড়া অন্যান্য বৃক্ষের মধ্যে এখানে আছে রাজ-অশোক, সৌরভী, পরিজাত, হাপাবমালি, কর্পূর, হরীতকী, যষ্টিমধু, মাধবী, তারাঝরা, মাইকাস, নীলমণিলতা, হৈমন্তীসহ বিভিন্ন দুর্লভ প্রজাতির ফলজ ও ঔষধি বৃক্ষ। প্রাসাদের মধ্যে পরিখা বা লেকের পাড়ে এসব বৃক্ষাদির মহাসমারোহ।

প্রাসাদের প্রবেশ পথের চারিদিকে প্রাসাদঘেরা পরিখা যা পুরো রাজপ্রাসাদকে ঘিরে রেখেছে। ভেতরে বিশাল মাঠ ও গোলাপ বাগান একপাশে গণপূর্ত অফিস। দ্বিতল হলুদ ভবনটি কুমার প্যালেস নামে পরিচিত। নিচতলাটি টর্চারসেল হিসেবে ব্যবহৃত হতো। একটি একতলা তহশিল অফিস আছে। সে সময়কার চারটি কামান পরিলক্ষিত হয়। কামানগুলোর স্থাপনকাল ছিল ১৭৯৯ সাল। বিশাল রাজদরবার সংলগ্ন বাগানে জমিদার দয়ারামের একটি ভাস্কর্য তার স্মৃতিচারণ প্রতীক। প্রাসাদের মধ্যে একটি মিলনায়তন ভবনসহ রযেছে আরো দুইটি ভবন। গাড়ি পার্ক করার গ্যারেজ আলাদা। যাবতীয় স্থাপনা মাঝখানে। প্রাসাদের ভেতর রয়েছে বিভিন্ন ব্যবহার্য জিনিসপত্র। ভবনের মধ্যে জাদুঘর, বহু দর্শনীয় স্মৃতিস্তম্ভ, ভাস্কর্য ও দৃষ্টিনন্দন স্থাপত্য বিদ্যমান।

ইতালীয় গার্ডেন উত্তরা গণভবনের সর্বাধিক উল্লেখযোগ্য অংশ। গার্ডেনটির আসবাবপত্র রাজা দয়ারাম ইটালি থেকে আনিয়েছিলেন। ছিপ হাতে কালো রঙের মার্বেল পাথরের মূর্তিটি উপভোগ্য। বেঞ্জগুলো কোলকাতা থেকে আনানো হয়েছিল। পাহাড়িকন্যা পাথরের মূর্তিটির এক হাত ভাঙা। হাতের কবজিটি স্বর্ণ দিয়ে বাঁধাই করা ছিল। এখানে রাণীর টি হাউসটি অতুলনীয়।

উত্তরা গণভবন চত্বরে গোলপুকুর, পদ্মপুকুর, শ্যামসাগর, কাছারিপুকুর, কালীপুকুর, কেষ্টজির পুকুর নামে ছয়টি পুকুর রয়েছে। এছাড়া গণভবনের ভেতরের চারপাশে সুপ্রশস্ত পরিখা রয়েছে। প্রতিটি পুকুর পরিখায় সানবাঁধানো একাধিক ঘাট আছে। দীর্ঘদিন সংস্কার না করায় পুকুরগুলো ভরাট হয়ে গিয়েছে। ঘাট ভেঙে টুকরো টুকরো হয়ে গিয়েছে। প্রাচীন এই অবকাঠামোকে ঘিরে অজস্র আম, জাম, লিচু, কাঁঠাল, মেহগনি, পাম ও চন্দনাসহ দুর্লভ জাতের গাছ লাগানো ছিল। অযত্ন আর অবহেলায় ইতোমধ্যে অনেক গাছ বিলুপ্ত হয়ে গেছে।

১৯৪৭ সালে দেশ বিভাগের পর দিঘাপতিয়ার শেষ রাজা প্রতিভা নাথ রায় দেশ ত্যাগ কের চলে যান। এসময় থেকে দিঘাপতিয়া রাজবাড়ী পরিত্যাক্ত অবস্থায় থাকে। ১৯৬৫ সালে তৎকালীন পাকিস্তান সরকার রাজবাড়ীটি অধিগ্রহণ করেন। ১৯৬৭ সালের ২৪ জুলাই তৎকালীন গবর্নর হাউসে রূপান্তরিত হয়। স্বাধীনতার পর বাংলাদেশের প্রধানমন্ত্রী শেখ মুজিবুর রহমান এটিকে উত্তরা গণভবন হিসেবে ঘোষণা দেন। তিনি ১৯৭২ সালের ৯ ফেব্রুয়ারি এই ভবনের মূল প্রাসাদের ভিতর মন্ত্রিসভার বৈঠক আহবান করেন। সেই থেকে ভবনটি ‘উত্তরা গণভবনের' প্রকৃত মর্যাদা লাভ করে।