यानंतर लवकरच कुटुंबात भांडणे सुरू झाली. विद्यासागरांचे भाऊ होते, त्यांस विद्यासागरच मदत करीत. दीनबंधू जे होते, ते मोठ्या स्वतंत्र वृत्तीचे व स्वाभिमानी बाण्याचे होते. त्यांस पगार थोडा असे तरी ते आता विद्यासागरांकडे पैसे मागत नसत. परंतु विद्यासागर दीनबंधूंच्या बायकोजवळ पैसे देत व अशाप्रकारे त्यांस उणे पडू देत नसत. शंभुचंद्र यांनी एका पुनर्विवाहाच्या बाबतीत काही वाईट गोष्टी केली म्हणून विद्यासागर यांस वाईट वाटत होते. शिवाय या भावांच्या बायका आपसात फार भांडत. विद्यासागर यांची पत्नी पण जरा उतावळ्या स्वभावाची होती; कलागती होती; दिनमयी ही भांडणे विद्यासागरांस सांगावयाची. विद्यासागरांस हे ऐकून वाईट वाटे व ते आपल्या पत्नीस शांतपणे वागण्यास सांगत. शेवटी आपले भाऊ ज्यांस वाढविले, शिकविले, तेच आपणाबद्दल साशंक आहेत असे विद्यासागरांनी पाहिले. त्या वेळेस त्यांचे मन विरक्त झाले. एवढा सर्व खटाटोप करून सर्व आपल्याच नावाने खडे फोडतात हे पाहून त्यांचे मन वैतागले. सर्व जगाचा संबंध सोडावा व वनात जाऊन वानप्रस्थाश्रम किंवा संन्यासच घ्यावा असे विचार मनात येऊन त्यास निश्चयाचे स्वरूप मिळू लागले. शेवटी एक दिवस त्यांनी ठरविलेच की, आता संन्यास घ्यायचा. त्यांनी निरवानिरवीची पत्रे सर्वांस लिहिली. प्रथम आईस पत्र लिहिले, ‘आजपर्यंत जे काही तुला त्रास दिले असतील, ज्या काही चुका झाल्या असतील, त्याची उदार मनाने मला क्षमा कर. आई, आता मी जगास कंटाळलो आहे. मी तुला अखेरचा प्रणाम करतो. तुझी जर काही इच्छा असेल तर मला ताबडतोब कळव म्हणजे मी ती पूर्ण करीन व मग जगाचा संबंध सोडीन.’ याप्रमाणे मजकूर लिहून आपल्या पत्नीस दुसरे पत्र लिहिले. ‘मी जगाचा कायमचा निरोप घेत आहे. आता आपले संबंध संपले. मी पोटापाण्याची ददात तुम्हास ठेवली नाही. नीट काटकसरीने वागलात म्हणजे ते तुम्हांस जन्मभर पुरून उरेल. दीनमयी, एकच गोष्ट तुला सांगावीशी वाटते ती ही की, जगाशी जरा सहनशीलपणाने वागावे; मिळते घ्यावे. उतावीळपणाने, अधीरपणाने स्वतःस व दुसर्यास त्रास होतो.’ यानंतर तिसरे पत्र शंभुचंद्र यांस लिहिले. ‘आजपर्यंत तुला मदत केली. पुढेही तुला मदत मिळत जाईल अशी व्यवस्था होईल. शंभु, शेजार्यापाजार्यांजवळ जरा सलोख्याने राहत जा. नेहमी हमरीतुमरीवर येणे यात कल्याण नाही व हे शोभत नाही.’ चौथे पत्र ईशानचंद्रास होते. ‘तुला दर महिना रुपये ३० येत जातील. सध्या तुला जास्त पैसे देण्यात येणार नाहीत. नीट शहाणपणे वागावे.’ शेवटचे पत्र काशीस वडिलांस लिहिले. हे पत्र पुष्कळ लांबलचक होते. ‘बाबा, मी आपणांस शेवटला प्रणिपात करतो. आजपर्यंतच्या माझ्या अनुभवाने मला हेच शिकविले की, ‘संसारात, या जगात तुजसारखा हतभागी अन्य कोणी नाही.’ बाबा, मी सर्वांस सुखविण्याचा प्रयत्न केला. कोणासही दुखवू नये म्हणून स्वतःस अनेक वेळा संकटांत व दुःखात घालून घेतले; परंतु मला या गोष्टीत यश आले नाही. जो सर्वांस संतोष देऊ पाहतो त्यास कोणासच संतोष देता येत नाही, हेच कटु सत्य शेवटी माझ्या अनुभवास आले. घरीसुद्धा कुटुंबात एकंदर अशांतता व असमाधान आहे. त्याची कारणे मी आपणास निवेदन करू इच्छित नाही, पुनर्विवाहासारख्या चळवळी हातात घेऊन मी कर्जबाजारी झालो आहे. अनेकांनी वचने दली परंतु ती वायफळ व कवडीमोल ठरली. जोपर्यंत मी कर्जाच्या बजबजपुरीत आहे, ऋणाने बद्ध आहे, तोपर्यंत मला समाजाचा सर्व संबंध नीतिदृष्ट्या सोडता येत नाही व मी सोडणारही नाही. कर्ज फेडून टाकण्यासाठी प्रयत्न करतो आहे. अनृणी झालो म्हणजे संन्यास घेण्यास काही बंधन राहणार नाही.