उन्होंने गांधी जी के साथ भारत के स्वतंत्रता संग्राम में बढ़-चढ़कर हिस्सा लिया। उनके जीवन से जुड़े अनेक ऐसे किस्से सुनने-पढ़ने को मिलते रहे हैं, जिससे उनकी ईमानदारी, दृढ़ निश्चय, समर्पण, निष्ठा और हिम्मत की मिसाल मिलती है।

सरदार पटेल उस समय छोटे ही थे, जब उनकी कांख में एक फोड़ा निकल आया था। फोड़े का खूब इलाज कराया गया, किंतु जब वह लाख जतन के बावजूद ठीक नहीं हुआ तो एक वैध ने सलाह दी कि इस फोड़े को गर्म सलाख से फोड़ दिया जाए, तभी यह ठीक होगा। अब न ही परिवार के भीतर और न ही किसी अन्य की इतनी हिम्मत हुई कि वह बच्चे को सलाख से दागने की बात कर सकें। आखिरकार अविचलित बने रहकर सरदार पटेल ने स्वयं ही लोहे की सलाख को गर्म करके फोड़े पर लगा दिया, जिससे वह फूट गया और कुछ ही दिनों में पूरी तरह ठीक हो गया। उनके इस अद्भुत साहस को देखकर पूरा परिवार और आस-पड़ोस के लोग अचंभित रह गए। 1909 में जब वे वकालत करते थे, उस दौरान तो उनकी कर्त्तव्यपरायणता की मिसाल देखने को मिली, जिसकी आज के युग में तो कोई कल्पना भी नहीं कर सकता।

उस समय उनकी पत्नी झावेर बा कैंसर से पीड़ित थी और बम्बई के एक अस्पताल में भर्ती थी, लेकिन ऑपरेशन के दौरान उनका निधन हो गया। उस दिन सरदार पटेल अदालत में अपने मुवक्किल के केस की पैरवी कर रहे थे, तभी उन्हें संदेश मिला कि अस्पताल में उनकी पत्नी की मृत्यु हो गई है। संदेश पढ़कर उन्होंने पत्र को चुपचाप जेब में रख लिया और अदालत में अपने मुवक्किल के पक्ष में लगातार दो घंटे तक बहस करते रहे। आखिरकार उन्होंने अपने मुवक्किल का केस जीत लिया। केस जीतने के बाद जब न्यायाधीश सहित वहां उपस्थित अन्य लोगों को मालूम हुआ कि उनकी पत्नी का देहांत हो गया है तो सभी ने सरदार पटेल से पूछा कि वे तुरंत अदालत की कार्रवाई छोड़कर चले क्यों नहीं गए? पटेल ने जवाब दिया कि उस समय मैं अपना फर्ज निभा रहा था, जिसका शुल्क मुवक्किल ने न्याय पाने के लिए मुझे दिया था और मैं उसके साथ अन्याय नहीं कर सकता था। सरदार पटेल कहते थे कि बेकार मत बैठिये; क्योंकि बेकार बैठने वाला अपना ही सत्यानाश कर डालता है। रात-दिन कार्य करने वाला अपनी इंद्रियों को आसानी से वश में कर लेता है, इसलिए आलस्य छोड़िये।

उनका कहना था कि अगर कोई चीज मुफ्त मिलती है तो उसकी कीमत कम हो जाती है जबकि परिश्रम से पाई हुई चीज की कीमत ठीक तरीके से लगाई जाती है। लोगों को मेहनत और कर्म करने के लिए प्रेरित करते हुए वह कहते थे कि यह सच है कि पानी में तैरने वाले ही डूबते हैं, किनारे पर खड़े रहने वाले नहीं लेकिन इससे भी बड़ा सच यह है कि किनारे पर ही खड़े रहने वाले लोग तैरना भी नहीं सीखते। अहिंसा का समर्थन करते हुए सरदार पटेल का कहना था कि कायरों की अहिंसा का कोई मूल्य नहीं है। जो तलवार चलाना जानते हुए भी तलवार को म्यान में रखता है, उसी की अहिंसा सच्ची अहिंसा होती है। वह कहते थे कि आपकी अच्छाई आपके मार्ग में बाधक है, इसलिए अपनी आंखों को क्रोध से लाल होने दीजिए और अपने मजबूत हाथों से अन्याय का डटकर सामना कीजिए। उनका कहना था कि हमारा सिर कभी न झुकने वाला होना चाहिए। हमें केवल भगवान के आगे झुकना चाहिए, दूसरों के आगे नहीं। हमें सदैव ईर और सत्य में विश्वास रखकर प्रसन्न रहना चाहिए। यहां तक कि अगर हम हजारों की दौलत भी गंवा दें और हमारा जीवन बलिदान हो जाए तो भी हमें मुस्कुराते रहना चाहिए। हमें गम खाना सीखना चाहिए और मान-अपमान सहन करने की आदत डालनी चाहिए। सरदार पटेल का पूरा जीवन सादगी से भरा था और वे सदा सादा और सात्विक भोजन ही ग्रहण किया करते थे।

एक बार उनका संत विनोवा भावे के आश्रम में जाना हुआ, जहां रसोई में उत्तर भारत के किसी गांव से आया एक साधक भोजन व्यवस्था के कार्य से जुड़ा था। सरदार पटेल को आश्रम का विशिष्ट अतिथि जानकर साधक ने उनसे पूछा कि आपके लिए रसोई पक्की बनेगी या कच्ची? सरदार पटेल उसका आशय नहीं समझ सके तो उन्होंने साधक से इसका अभिप्राय पूछा। तब साधक ने उनसे पूछा कि वे कच्चा खाना खाएंगे या पक्का? यह सुनकर सरदार पटेल ने कहा कि कच्चा क्यों खाएंगे, पक्का खाना ही खाएंगे। जब खाना बनने के पश्चात उनकी थाली में पूरी, कचौरी, मिठाई इत्यादि चीजें परोसी गई तो सरदार पटेल ने सादी रोटी और दाल की मांग की। उस पर साधक ने कहा कि आपसे पूछकर ही आपके लिए पक्की रसोई बनाई गई है। दरअसल, उत्तर भारत में दाल, रोटी, सब्जी, चावल इत्यादि सामान्य भोजन को कच्ची रसोई कहा जाता है जबकि पूड़ी, कचौरी, मिठाई इत्यादि तले-भुने भोजन की श्रेणी में आने वाले भोजन को पक्की रसोई कहा जाता है। उस घटना के बाद सरदार पटेल को उत्तर भारत की कच्ची और पक्की रसोई का अंतर मालूम हुआ।