তিন তৌজির অন্তর্গত ডিহি শাহজাদপুরের জমিদারী একদা নাটোরের রাণী ভবাসীর জমিদারীর একটি অংশ ছিল। ১৮৪০ ইং (?) সনে শাহজাদপুরের জমিদারী নিলামে উঠলে কবি রবীন্দ্রনাথ ঠাকুরের পিতামহ প্রিন্স দ্বারকানাথ ঠাকুর মাত্র তের টাকা দশ-আনায় এ জমিদারী কিনে নেন। জমিদারীর সাথে সাথে শাহজাদপুরের কাছারি বাড়িটি ও ঠাকুর পরিবারের হস্তগত হয়েছিল বলেই ধারণা করা হয়। এর আগেএ বাড়ির মালিক ছিল নীলকর সাহেবরা। ১৮৯০ থেকে ১৮৯৭ পর্যন্ত মাত্র আট বছর ফরি রবীন্দ্রনাথ ঠাকুর শাহজাদপুরে জমিদারী দেখাশোনার কাজে নাঝে বাংঙ্গ আসতেন এবং সানরিক ভাবে বসবাস বাস করতেন করতেন। তিনি স্থায়ীভাবে থাকতেন কুষ্টিয়ার শিলাইদহে। সম্ভবতঃ এ কারণেই শিলাইদহে তার বাদগ্রহ কুঠিবাড়ি নামে এবং শাহজাদপুরের বাড়িটি কাছারিবাড়ি নামেই পরিচিত।

শাহজাদপুরের কাছারিবাড়ি ইন্দো ইউরোপীয় স্থাপত্যশৈলীতে নির্মিত একটি দ্বিতল ভবন। ভবনটি দৈর্ঘ্যে ২৬৬৫ মিটার, প্রস্থে ১০-২০ মিটার এবং উচ্চতায় ৮৭৪ মিটার। ভবনটি। প্রতি তলায় সিঁড়িঘর ব্যতীত বিভিন্ন আকারের মোট সাতটি করে কক্ষ রয়েছে। ভবনটির উত্তর ও দক্ষিণে একই মাপের প্রশস্ত বারান্দা, বারান্দার গোলাকৃতি জোড়া মাপের। থামের উপরাংশের অলংকরণ, বড়মাণের দরজা, জানালা ও ছাদের উপরের প্যারাপেট দেওয়ালে পোড়ামাটির কাজ বিশেষ ভাবে নঞ্চনীয়।

১৯৬৯ সনে প্রত্নতত্ত্ব অধিদপ্তর কর্তৃক অত্যন্ত জরাজীর্ণ অবস্থায় এ ভবনটিকে সংরক্ষিত পুরাকীর্তি হিসাবে ঘোষনা করা হয়। প্রায় এক গুলা ও দোতলার ছাদ পুননির্মাণ সহ অন্যান্য প্রয়োজনীয় সংস্কার কাজ সম্পন্ন করে ভবনটি রবীন্দ্র জীবন ভিত্তিক আলোকচিত্র ওএ বাড়িতে প্রাপ্ত আসবাবপত্র নিয়ে একটি স্মৃতি জাদুঘরের রূপদেওয়ার চেষ্টা করা হয়েছে।