দীর্ঘদিন ধরেই বিজেপির অন্দরে বাবুল বিরোধী গোষ্ঠী ছিল। এমনকী, দিলীপ ঘোষের সঙ্গে তাঁর মতের মিল ছিল না। তবে দলের কেন্দ্রীয় নেতৃত্ব পাশে থাকায় তেমন কোনও সমস্যা হয়নি। সমস্যা শুরু হয় বিধানসভা নির্বাচনের পর।