臺灣總督府高等學校於1922年創立，設立初期暫用臺北第一中學校（現建國中學）校舍，1926年4月校舍落成後轉移至古亭町(現國立臺灣師範大學校本部），1927年正式將校名訂為「臺灣總督府立臺北高等學校」。
1922年頒布的「臺灣教育令」，明訂中等以上教育機關(師範學校除外)，取消日臺差別待遇及隔離政策，開放日臺共學。臺灣總督府以設立大學為最終目標，相繼設立高等學校以及帝國大學，完成高校─大學的高等教育體制。
七年制的臺北高校設有尋常科（4年）與高等科（3年）之前後兩階段，尋常科每年招收小、公學校畢業生40名，行中學校程度之教育，不分組，修業四年後直升高等科。高等科除尋常科直升的40名，每年經由入學測驗，招收中學畢業或四年修畢者120名左右，行大學預備教育與高等普通教育，依學生志願，分文科與理科，又依主修外語之不同，分甲、乙兩類，甲類以英語為第一外語，德語為第二外語，乙類則以德語為第一外語，英語為第二外語。修業三年畢業後，「原則上」可以免試直升全日本各帝國大學。
臺北高校是戰前除臺北帝國大學預科（1941年成立）外，唯一的臺北帝國大學升學管道，因此入學競爭相當激烈。高等科每年預定招生的160個名額中，每年錄取臺灣人不到30名；尋常科招收40 個名額，平均一年僅錄取4名臺灣人，被認為是全臺灣升學的最大難關。
由於臺北高校具有帝大預科性質，畢業生幾乎全員進入帝國大學，課程上注重外語能力的培養並具相當成效。再者，以優秀的教師陣容教育少數學子，學生多數住在學校的「寮」（宿舍），在「自由與自治」生活中，有同儕共同切磋琢磨而培育的友情。如此良好的學習環境，稱臺北高校學生是「菁英中的菁英」並不為過。自1925年起，臺北高校就取代了總督府國語學校與醫學校，成為全臺灣頂尖菁英的養成所，而這些菁英也成為臺灣戰前與戰後社會領導階層最重要的來源之一。
