1922年臺灣總督府頒布「新臺灣教育令」，宣布中等以上學校實施「內臺共學」制度，從而設立「臺灣總督府高等學校」及「臺北帝國大學」兩所高等教育機構。
臺師大前身為日治時期「臺灣總督府臺北高等學校」（簡稱臺北高校），創立於1922年，為七年制之高等學校（含尋常科四年、高等科三年），是二戰結束前全日本38所菁英養成高校之一，也是臺灣唯一的一所高校，具備帝國大學預科性質，原則上畢業生可申請免試直升臺北帝國大學（日本9所帝國大學之一，今臺灣大學）。臺北高校創建初時，借用當時臺北州立臺北第一中學校（今建國高級中學）校舍，1926年始遷移至古亭町（臺師大現址）。
1928年為銜接臺北高等學校之畢業生，臺灣總督府依據「大學令」於富田町成立「臺北帝國大學」。設立初期設有文政學部及理農學部，1936年增設醫學部，1943年設立工學部。因臺北高校學生多不以臺北帝國大學為升學志願，故於1941年在士林芝山岩設立「臺北帝國大學預科」穩定招生人數。
1945年二戰結束後，臺灣省行政長官公署接收臺北高校，11月依新學制將其改名為「臺灣省立臺北高級中學」。「臺北帝國大學」改制為「國立臺北大學」，旋改為「國立臺灣大學」。「臺北帝國大學預科」改制為「國立臺灣大學先修班」，畢業生仍可直升國立臺灣大學。
同時因急切需要培養大量中學與高中師資，臺灣省行政長官公署於1946年6月5日成立具大學位階的「臺灣省立師範學院」，負責中等教育師資的人才培育。臺灣省立師範學院創立時，與臺北高級中學共同使用同一校地與設備，教職員亦相互支援流用。
師院開辦之初，為因應中等學校師資之需求，設有教育、國文、英語、史地、數學、理化、博物等7系，另設置四年制之公民訓育、國文、英語、史地、數學、理化、博物、體育、音樂等9個專修科，以及一年制專修班。
1949年臺北高級中學奉令停止招生，由臺灣省立師範學院承繼臺北高級中學的校地、設備、圖書等。