ভানগড়ের দুর্গ তৈরির আগে এক সাধু শর্ত দিয়েছিলেন, দুর্গের ছায়া যেন কোনওমতেই তাঁর কুটির স্পর্শ না করে। রাজপুত্র সেই শর্তে গুরুত্ব দেননি। ফলে, সাধু গোটা শহরকে অভিশাপ দিয়েছিলেন।
১৭ শতকে যে ভানগড় ছিল অতি সমৃদ্ধ, ১৮ শতকে সেই শহর হয়ে উঠল একেবারে পরিত্যক্ত।
ভারতীয় প্রত্নতাত্ত্বিক জরিপ সংস্থা ASI সূর্যাস্তের আগে এবং সূর্যাস্তের পরে ভানগড় দুর্গে প্রবেশ করা একেবারে নিষিদ্ধ ঘোষণা করেছে।
ভানগড় দুর্গে যাঁরা প্রবেশ করেন, তাঁরা অনেক সময়ই এক অজানা অস্বস্তি অনুভব করেন। অনেকেই বলেছেন যে, কোনও অজ্ঞাত কারণে দুর্গের ভিতর ঢুকলেই গা ছমছম করে।
অনেক দর্শনার্থীই এই দুর্গের অন্দরে কোনও অজানা অশরীরীর আনাগোনা লক্ষ্য করেছেন। দুর্গের ভিতর থেকে অদ্ভুত শব্দও শুনতে পেয়েছেন কেউ কেউ।
ভানগড় দুর্গের অনেক অংশই বেশ ভেঙেচুরে গেছে। সেগুলি মেরামতির জন্য বহুবার বহু কর্মীও নিয়োগ করা হয়েছিল। কিন্তু, কোনও অজানা কারণে সেই কর্মীদের অনেকেই ভয়ে কাজ করতে চাননি।
দুর্গ মেরামত করা হয়ে যাওয়ার পরেও কখনও কখনও দেখা গেছে, ভাঙা অংশ খুব দ্রুত আবার ভেঙে গেছে। মেরামত করে কোনও লাভই হয়নি।
ভানগড় দুর্গের ভিতরে একটি কুয়ো আছে, যেটিকে ‘অভিশপ্ত কুয়ো’ বলে বর্ণনা করা হয়। সূর্য ডুবে যাওয়ার পর যদি কেউ সেই কুয়োর কাছে যান, তাহলে সেই ব্যক্তির অকালপ্রয়াণ হয় বলে দেখা গেছে।