Stewart studerade juridik och inledde 1850 sin karriär som advokat i Middlebury. Han var åklagare i Addison County1852–1854. Han gifte sig 1860 med Emma Seymour Battell och paret fick fem barn.
Stewart efterträdde 1870 George Whitman Hendee i guvernörsämbetet. Han efterträddes två år senare av Julius Converse. Stewart blev invald i representanthuset i kongressvalet 1882. Han omvaldes tre gånger men bestämde sig för att inte ställa upp för omval i kongressvalet 1890. Han var sedan verksam inom bankbranschen.
Senator Redfield Proctor avled 1908 i ämbetet och efterträddes av Stewart. Han efterträddes sedan senare samma år av Carroll S. Page.
Externa länkar
Biografi på National Governors Associations webbplats