6 जून 1844 को जब इंदौर रेसीडेंसी क्षेत्र में 'इंदौर मदरसे' की स्थापना हुई तभी से एक हिन्दी कक्षा भी उसी मदरसे में प्रारंभ की गई। इस समय फारसी व मराठी पढ़ने वालों की संख्या अधिक थी, क्योंकि इन भाषाओं का उपयोग राजकीय कार्यों में प्रचलित था। हिन्दी का अध्ययन करने वालों को राजकीय सेवा में परेशानियां हो सकती थीं या उन्हें नौकरी न मिलने का भी खतरा था।
रेसीडेंसी में स्थापित इस मदरसे का उद्देश्य इंदौर नगर में इंग्लिश पढ़ने वालों की तादाद में वृद्धि करना था। लॉर्ड मैकाले की भावनाओं को मूर्त रूप में तब्दील कर अंगरेज वफादार कारकूनों की संख्या में वद्धि करना चाहते थे। इन विषम परिस्थितियों में भी पंडित भवानी प्रसादजी ने हिन्दी अध्यापन का बीड़ा उठाया। उनकी प्रेरणा से उक्त मदरसे में भर्ती विद्यार्थियों में से 10 ने हिन्दी कक्षा में प्रवेश लिया। इस प्रकार पंडित भवानी प्रसाद को मदरसे का प्रथम हिन्दी शिक्षक होने का गौरव मिला।
अगस्त 1844 में मुंशी उम्मेदसिंहजी को इस मदरसे का प्रधान पाठक बनाया गया। उन्हीं के विशेष प्रयासों से ही मदरसे में हिन्दी विभाग खोला गया था।
1878 में राज्य के तत्कालीन शिक्षा निरीक्षक श्री वासुदेव बल्लाल मुल्ये, जो मराठी भाषी थे, ने हिन्दी में पाठ्यपुस्तक लेखन का कार्य किया। राज्य के विद्यालयों में चलने वाली पुस्तकों को पहली बार हिन्दी में लिखने का प्रयास किया गया। श्री बल्लाल ने भूगोल, इतिहास व गणित की पुस्तकें हिन्दी में तैयार कीं। राज्य के अधिकांश विद्यार्थी हिन्दी भाषी थे, अत: इन पुस्तकों से उनकी एक बड़ी कठिानाई हल हो गई।
इस सराहनीय सेवा के लिए श्री बल्लाल को राजकीय सम्मान प्रदान किया गया। इंदौर नगर व होलकर राज्य के तमाम स्कूलों में 20वीं सदी के प्रारंभ से ही हिन्दी पढ़ने वाले विद्यार्थियों की संख्या में उत्तरोत्तर वृद्धि होने लगी। प्रारंभ में मराठी विद्यालयों की संख्या अधिक थी। धीरे-धीरे हिन्दी विद्यालय स्थापित हुए और हिन्दी, मराठी विद्यालयों की संख्या लगभग बराबर हुई।
1905 में ही यह स्थिति निर्मित हो गई कि 18 मराठी विद्यालयों को को हिन्दी विद्यालयों में परिवर्तित कर दिया गया। 1923 में यह स्थिति निर्मित हो गई कि अध्ययनरत कुल छात्रों का 76 प्रतिशत व छात्राओं का 49 प्रतिशत हिन्दी पढ़ने वालों का था। 1927 में होलकर महाविद्यालय में अर्थशास्त्र तथा इंग्लिश की स्नातकोत्तर कक्षाओं के साथ हिन्दी का अध्यापन भी स्नातक कक्षाओं तक प्रारंभ किया गया। इस प्रकार पूरे 86 वर्षों बाद हिन्दी अध्यापन स्कूल से महाविद्यालय पहुंचा।