अनेकांना प्रश्न पडतो कि काशी विश्वनाथ मंदिर मुक्त करण्याचे धाडस जाट, शीख, मराठेही त्यांच्या राजवटीत कोणीच का करू शकले नाहीत?
मराठा सरदार होळकर यांनी मुघलांना काशीची जमीन परत करण्यास सांगितले होते आणि त्यांचा हेतू बाजूला किंवा त्याच ठिकाणी मंदिर बांधण्याचा होता. परंतु त्यांना अवधच्या नवाबाने विरोध केला आणि १७५६ मध्ये पानिपतच्या मराठा लढाईत पराभूत झाल्यानंतर उत्तर भारतात त्यांचा प्रभाव संपला. मराठे परत येईपर्यंत अवध इंग्रजांपासून स्वतंत्र झाले होते.
पुढे अहिल्याबाई होळकरांनी सध्याचे मंदिर बांधले. अठराव्या शतकाच्या उत्तरार्धात, ईस्ट इंडिया कंपनीने बनारसवर थेट नियंत्रण मिळवले. दरम्यान मल्हार रावांच्या उत्तराधिकारी आणि सून पुण्यश्लोक अहिल्याबाई होळकर यांनी सध्याचे काशी विश्वनाथ मंदिर मशिदीच्या अगदी दक्षिण दिशेला बांधले. तथापि, हे स्पष्टपणे वेगळे मंदिर होते ज्याची संरचना आणि विधी मुळ मंदिराशी विसंगत होते. नंतर एका शीख राजाने मंदिराचा कळस सोन्याचा बनवला.
तसेच, औरंगजेबाच्या राक्षसी आक्रमणाच्या वेळी पुजाऱ्यांनी मूळ शिवलिंग ज्ञान वापी विहिरीत लपवून ठेवले होते त्यामुळे हिंदू यात्रेकरूंनी एका शतकाहून अधिक काळ मशिदीतील शिल्लक ढाच्याला नवीन मंदिरापेक्षा अधिक पवित्र मानले. १९०० च्या दशकाच्या सुरुवातीला काशी विश्वनाथ मंदिराला तीर्थयात्रेच्या मार्गांचा मध्यवर्ती घटक म्हणून प्रस्थापित करण्यात अखेर यश आले.