বিধান সরণীতে ঠনঠনিয়া কালীমন্দির-এর থেকে সামান্য দুরত্বেই বিদ্যাসাগর কলেজ, সেখান থেকে ঢিল ছোঁড়া দুরত্বেই রয়েছে জমিদার ঘোষের বাড়ি। আনুমানিক ১৭৮৪ সালে তৈরি হয় এই বাড়িটি। ১৮৪৬ সাল নাগাদ খেলাৎচন্দ্র ঘোষ পাথুরিয়াঘাটা স্ট্রিটের বাড়িতে দুর্গাপুজোর সূচনা করেন। ঐতিহ্যময় এই বাড়িতে এসেছিলেন, গান্ধীজি, রামকৃষ্ণ পরমহংসদেব এবং বিভূতিভূষণ বন্ধ্যোপাধ্যায়ের মতন ব্যক্তিত্বরা।
রুপোলি ডাকের সাজে মহিষাসুরমর্দিনী পূজিত হন এই জমিদার বাড়িতে। রুপোলি তবকে মোড়া সিংহাসনে বসানো হয় মা-কে। এই বাড়ির পুজোতে সিংহের বদলে থাকে ঘোটক সিংহ। মা-কে ভোগ হিসেবে দেওয়া হয় লুচি, মিষ্টি সঙ্গে থাকে চিনির মঠ। এই পুজোতে দশমীতে মা-কে বিদায় দেওয়ার সময় ওড়ানো হত নীলকন্ঠ পাখি, যা বর্তমানে নিষিদ্ধ হয়ে গিয়েছে। বর্তমানে এই বংশের অষ্টম প্রজন্ম বসবাস করছেন এই বাড়িতে। 
ভাদ্রমাসের কৃষ্ণপক্ষের নবমী তিথিতে এই জমিদার বাড়িতে শুরু হয় মা দুর্গার বোধন। কালিকাপুরাণ পুথিমতে নবম্যাদিকল্প অনুযায়ী পুজোর রীতি পালন করা হয় এখানে। ষষ্ঠীর দিন হয় মায়ের অধিবাস। সপ্তমী থেকে দশমী অবধি মঙ্গল আরতি হয় ভোর চারটে থেকে। এই জমিদার বাড়ির দুর্গা মায়ের অস্ত্র এবং চাঁদমালা রুপোর তৈরি।  ভোগ হিসেবে মা-কে দেওয়া হয় বাড়ির তৈরি নাড়ু এবং দরবেশ। সেই সঙ্গে থাকে ফল এবং মিষ্টান্ন। বিসর্জণের আগে মায়ের মূর্তি নিয়ে যাওয়া হয় সিদ্ধেশ্বরী কালীমন্দিরে তারপর ভাসান দেওয়া হয় গঙ্গায়।