本校前身為日治時期臺灣總督府臺北高等學校，創立於1922年，為七年制之高等學校（含尋常科四年、高等科三年），是二戰前全日本38所菁英養成高校之一，也是臺灣唯一的一所高校，具備帝國大學預科性質，原則上畢業生可申請免試直升臺北帝國大學（日本9所帝國大學之一，今臺灣大學）。臺北高校創建初期，借用當時尚為中學的臺北第一中學校（今建國高級中學）校舍，1926年始遷移至古亭町（本校現址）。
臺北高校設有尋常科與高等科之前後兩階段，尋常科每年招收小、公學校畢業生40名，實施中學校程度之教育，不分組，修業四年後直升高等科。高等科除尋常科直升的40名，每年經由入學測驗，招收中學畢業或四年修畢者120名左右，實施大學預備教育與高等普通教育，依學生志願，分文科與理科，又依主修外語之不同，分甲、乙兩類，甲類以英語為第一外語，德語為第二外語，乙類則以德語為第一外語，英語為第二外語。修業三年畢業後，原則上可以免試直升全日本各(帝國)大學。
臺北高校是戰前除臺北帝國大學預科外唯一的大學升學管道，因此入學競爭相當激烈，高等科每年預定招生的160個名額中，每年錄取不到30名臺灣人，尋常科招收40 個名額，平均一年僅錄取4名臺灣人，被認是全臺灣升學的最大難關。魏火曜、宋進英、呂璞石、劉濶才、邱仕榮、辜振甫、顏朝邦、彭明哲、胡鑫麟、林宗義、王育霖、蘇銀河、許武勇、吳新英、邱永漢、黃伯超、呂燿樞等人均為臺北高等學校尋常科出身。
