विद्यासागर व त्यांचा मुलगा नारायण यांच्यामध्ये काही तरी बेबनाव झाला. विद्यासागर हे मुलाकडे जात नसत. त्याचे दर्शनही घेत नसत. विद्यासागरांची पत्नी दीनमयी ही मुलाजवळ राहत असे. आई-बाप मेल्यावर विद्यासागर एकटे, हाताने स्वयंपाक करून राहत. कधी कधी दीनमयी त्यांच्याकडे येई. परंतु मुलास येण्यास परवानगी नव्हती. शेवटी दीनमयी पण इहलोक सोडून गेली. विद्यासागरांवर एकेक संकटे येऊ लागली. त्यांस चार मुली होत्या. त्यांपैकी एकीवर वैधव्याचा प्रसंग ओढवला. दुःखाचे ढग जमू लागले. आयुष्याच्या सायंसमयी समाधान लाभावयाच्या ऐवजी दुःखाघातच होऊ लागले. ईश्वरचंद्र हे आता आजारी दिसू लागले. एकदा तर ते चांगलेच आजारी पडले. त्यांच्या घरात कोणी नसे. कारण मुलास येण्यास परवानगी नाही. मुली असत किंवा कोणी मित्र शुश्रूषा करीत. वडील आजारी असून त्यांस आपण पाहू शकत नाही, त्यांची चाकरी करण्याचे भाग्य आपल्या नशिबी नाही, या विचाराने नारायणाच्या हृदयाचे पाणी होई. क्षुल्लक अपराध झाला त्याच्यासाठी बाबांनी एवढे घोर शासन करावे का? शेवटी निर्वाणीचे पत्र वडिलांस पाठविण्याचे नारायणाने ठरविले व हृदयास पाझर फोडणारे, दगडास रडविणारे पत्र त्यांनी लिहिले. ‘बाबा, क्षमा करा. आपण मजला घराचे निदान दर्शन घेण्याची तरी परवानगी द्याल का? माझा मानसविहंग आपल्या भोवती घिरट्या घालीत असतो. माझी कुडी येथे आहे, परंतु मन तुमच्या चरणी जडावले आहे. तुम्ही बिछान्यावर विव्हळत असता तुमची सेवा करण्याचे पुण्य या पाप्याच्या नशिबी का असू नये? बाबा, लोक तुम्हाला देव मानतात, दयेचा सागर समजतात. आपण अभूतपूर्व पुरुष असे सर्व म्हणतात. माझ्याच बाबतीत आपण इतके निष्ठुर कसे झालात? मला आई सोडून गेली. आपल्या कृपेची छाया मजवर असायची ती पण नाही. म्या हतभाग्याने कोणाकडे पाहावे? आई मेलेली, बाप असूनही मी त्यांस आचवलेला. आपण अनाथाचे नाथ व गरिबांचे कैवारी. परंतु आपला प्रत्यक्ष मुलगा मात्र अनाथ व दीन झाला आहे. त्याची कीव तुम्ही का करू नये? बाबा, माझ्या पापांची, अपराधांची मोठ्या मनाने आपण क्षमा नाही का करणार? पुत्रवात्सल्याने मला जवळ नाही का बोलवणार? मी आपल्याकडे येतो. आपण माझ्याकडे कृपादृष्टीने पाहू नका. माझे काळे तोंड प्रसन्नतेने पाहू नका. परंतु आपली सेवाचाकरी करू द्या.’ हे हृदयद्रावक पत्र वाचल्यावर कठोर झालेला ईश्वरचंद्र पाझरला. ईश्वरचंद्रांच्या डोळ्यांतून गंगा वाहिली. मुलास तेजस त्यांनी बोलाविले व यापुढे नारायण, त्याची बायको, त्याची मुले ही विद्यासागरांजवळ राहिली. विद्यासागर या दुखण्यातून उठले. परंतु त्यांच्या मुलाची सुंदर कन्या प्रभावती ही देवाने उचलून नेली. विद्यासागरांस प्रभावतीचा फार लळा. प्रभावती ही नसली म्हणजे त्यांस सर्व अंधार दिसायचा. विद्यासागरांनी ‘प्रभावती संभाषण’ म्हणून एक लहानसे पुस्तक नातीच्या निधनानंतर लिहिले. ते फार करुणरसपूर्ण आहे. ‘बाळ, तू कोठे आहेस ग; तू कसे बोलावयाचीस; तुझे चालणे किती मनोहर; नाचणे किती सुंदर व डौलदार तुझ्या त्या मनोरम क्रीडा. ते सर्व आता कोठे आहे? आम्हांस क्षणभर आनंदसागरात सोडून पुन्हा अशा दुःखदावाग्नीत का बरे टाकतेस? येथे थोडाच वेळ थांबावयाचे होते, तर तू आलीस तरी का? क्षणभर येऊन आमच्या मनास हाय हाय करून चटका लावून निघून जाणे ही क्रूरपणाची परमावधी नाही का? असला दृष्टपणा लहान मुलास शोभत नाही.’ वगैरे प्रकारे या पुस्तकात वर्णन आहे.
कुटुंबात अशा प्रकारे दुःखादिकांनी पोळलेले ईश्वरचंद्र समाजात सर्व त-हांनी पुढाकार घेत. मोठमोठे लोक त्यांचे मित्र होते व सर्व चळवळींत ईश्वरचंद्रांस प्राधान्य असे. कवी, नाटककार, सुधारणाकार, सरकारी अधिकारी, नट, विद्यार्थी सर्वांनाच विद्यासागरांनी मोहिनी घातली होती. विद्यासागरांचा विनोदी स्वभाव व मार्मिक बोलणे या समाजातील व्यवहारांत पुष्कळ वेळा दिसून येई. ते हजरजबाबी व दुसर्‍यांस निरुत्तर करणारे असे होते. एकदा विद्यासागर आपल्या खेडेगावात असता त्यांच्या घरावर ४०-५० दरोडेखोरांचा डाका आला. घरातील सर्व मंडळी व विद्यासागर मागच्या दरवाजाने पसार झाले.
