স্বপ্নাদেশে লালগোলার রাজা রাও রামশঙ্কর নির্দেশ পান, এই রাজ পরিবারের দ্বারা অধিষ্ঠিত হয়েই কালীমন্দির পূজিত হবেন দেবী। সেইমত মন্দিরের পিছন দিয়ে প্রবাহিত পদ্মার শাখা নদীতে হঠাৎই একটি দেবীর কাঠামো ভাসতে দেখা যায়।
অতীতের টিনের ছাওনি ওয়ালা মন্দিরে পুজো হলেও আজ থেকে প্রায় একশো বছর পুর্বে তাদের পুর্বপুরুষরা পাকা মন্দির তৈরী করলে সেখানেই চলছে পুজো। ঘোষ বাড়ির কুল দেবতা কাঠামো পুজো দিয়েই শুরু হয় দুর্গা পুজো।