1922年、台北高等学校はまず尋常科が設立されました。当初は台北第一中学校（現・建国高級中学）の校舎の一部を借用して開校しました。その３年後、1925年に高等科が設立され、翌年台北市古亭町の校舎（現・台湾師範大学本部キャンパス所在地）に移転しました。

台北高等学校の尋常科は、小・公学校を卒業した台湾人・日本人児童に入学を許可し、４年の修業期間を終えた後、直接高等科に進学できました。一方、高等科は修業期間を３年とし、尋常科から進学して来た生徒の他に、他の中学校の卒業生も入学試験を経て入学することができました。高等科は、文科と理科に分かれ、選択した外国語科目により更に甲類と乙類に分けられました。生徒は、毎週ドイツ語または英語を10時間余り学び、将来の勉学や研究のために、高校時代に語学力の基礎をしっかりと固め上げました。

台北高等学校の入学試験は、「台湾一の難関」と言われていました。当時尋常科に合格できた台湾人児童の平均数は４人にも満たず、高等科でも平均30人に及ばない程でした。正に「難関中の難関」だったと言えます。高等科卒業後は、無試験で台北帝国大学（現・国立台湾大学）に入学が許可されましたが、日本内地の東京帝大、京都帝大に入学した生徒も数多くいました。

台北高等学校は当時の台湾における唯一の高等学校でした。卒業後は、日本の各帝国大学にも入ることができたことから、狭き門をくぐり抜け入学した台北高校生たちは、エリート中のエリートと見なされました。また、国家の“指導的人物”を養成する所として社会の期待を集め、生徒たち自身も国家を背負って立つ使命感を持っていました。実際に、台北高等学校卒業生の中には、台湾の発展に多大な貢献をした人々が、多数います。