Jabatan Pelajaran Perlis telah ditubuhkan pada tahun 1916 yang bertempat di Pejabat Besar Kerajaan Negeri Perlis. Kemudian ia telah dipindahkan ke lokasi baru iaitu di Bangunan Pejabat Setiausaha Kerajaan. Di awal penubuhannya, Jabatan Pelajaran Perlis telah ditadbir oleh En Wan Teh dan diikuti oleh En abu Seman b Mohd Sharif (1918), En Pilus B Awang (1923),  dan akhirnya pada tahun 1935 jawatan tersebut telah disandang oleh En Hashim b Abd Rahman. Kemudian, pada tahun 1938, Jabatan Pelajaran Perlis telah ditadbir oleh seorang nazir iaitu J.W Jefferson. Pada zaman pemerintahan jepun, En. Mustaffa telah menjawat jawatan sebagai guru pelawat. Selepas tamatnya perang dunia kedua jawatan tersebut telah disandang semula oleh En Hashim B Abd Rahman.

  Pada tahun 1974, satu pembaharuan telah berlaku dimana En Amat B Mion telah dilantik sebagai Penolong nazir dan kemudiannya pada tahun 1952 jawatan ini telah disandang oleh Tuan haji Mohd Noor b Ibrahim. Pada masa yang sama juga, En Ismail b Idris telah dilantik sebagai Guru Pelawat untuk membantu kerja-kerja yang kian bertambah. Kemudian jawatan Penolong Nazir telah ditukarkan kepada Penolong Pengelola Sekolah dimana jawatan ini telah disandang oleh En Hashim b Salleh.

  Selepas itu, pada tahun 1957, lokasi Jabatan Pelajaran Perlis sekali lagi telah bertukar ke sebuah bangunan yang terletak di Jalan Kolam yang bertentangan dengan Residensi Yang Amat Berhormat Dato’ Seri Shahidan b Kassim, Menteri Besar Perlis. Selepas beroperasi selama setahun di lokasi baru, En Saad telah dilantik menjadi Penolong Pengelola Sekolah. Pada tahun 1959, satu lagi pembaharuan telah berlaku, dimana En Abdullah b Sultan telah ditempatkan di Perlis sebagai Pegawai Pelajar Tempatan yang dikawal oleh seorang Penguasa Pelajaran Kedah/Perlis dimana iainya telah diketuai oleh Ketua Pegawai Pelajaran masing-masing. Sementara itu pada tahun 1961, En Abdullah b Marzuki telah dilantik sebagai Penolong Pengelola Sekolah dan jawatan Ketua Pegawai Pelajaran Perlis telah disandang oleh Dato’ Ariffin b Mohd Nam selama 7 tahun bermula pada tahun 1961 sehingga 1968. Pada masa yang sama juga lokasi Jabatan Pelajaran juga telah bertukar sekali lagi di tingkat bawah Bangunan Persekutuan Kangar. Selepas Dato’ Ariffin menjawat jawatan etrsebut, jawatan Ketua Pegawai telah ditadbir oleh En Idris b Haji Tain bermula 01/10/1970 sehingga 01/12/1973, kemudian diikuti oleh En abd Razak b Ator pada 01/12/1973 dan akhir sekali jawatan tersebut telah disandang oleh En Md Rashid b Md Nor A.M.P.

  Akhirnya, pada tanggal 01/02/1974, Jabatan Pelajaran Perlis telah berpindah ke bangunannya yang terletak di Jalan Penjara Kangar dan terdiri daripada 36 pegawai dan kakitangan. Pada masa itu jawatan pengarah telah disandang oleh En Marmuji b Kasa A.M.P yang mula bertugas pada bulan April 1978 sehinggalah bulan Ogos (1979), dan diikuti pula oleh En Abdul Talib b Mohd Zain (yang berkhidmat pada November (1979) hingga Februari (1983) kemudian jawatan tersebut telah disandang oleh En Baharom b Othman A.M.P, A.M.N. yang mula berkhidmat pada Febuari (1983) dan berakhir pada tahun 1984. Selepas itu, jawatan Pengarah telah disandang oleh En. Jumari b Hassan A.S.D.K.

  Semasa negara mencapai kemerdekaan pada tahun 1957, pentadbiran dan kakitangan Jabatan Pelajaran Perlis telah berada di bawah pentadbiran Jabatan Pelajaran Kedah. Sistem pentadbiran pada masa itu, telah ditadbir oleh pegawai pelajaran Inggeris yang dikenali sebagai ‘Superintendent of Education’, Kedah / Perlis yang beribu pejabat di Alor Star, Kedah.  Jabatan Pelajaran Perlis telah dikerusi oleh pegawai ikhtisas yang menjawat jawatan sebagai Penolong Pengelola Sekolah-Sekolah Melayu dimana beliau dibantu seorang pegawai ikhtisas lain yang menjawat jawatan sebagai guru pelawat.

  Penyeliaan yang agak tersusun di peringkat negeri hanya diberi kepada sekolah-sekolah kerajaan di negeri Perlis. Sekolah Inggeris yang pertama ialah Sekolah Inggeris Derma yang ditadbir dari Alor Star. Manakala sekolah Inggeris yang pertama semasa kemerdekaan ialah Sekolah Stella Maris yang ditadbir oleh mubaligh kristian sebagai sekolah swasta. Terdapat 2 buah Sekolah Agama Arau dan Agama Kangar adalah di bawah pentadbiran Jabatan Hal Ehwal Agama Islam Perlis (Zakat dan Fitrah).

  Pada tahun 1960, seorang pegawai pelajaran kanan ditempatkan di Perlis yang mengawal pentadbiran pendidikan tahun sekolah-sekolah yang dibawah bidang kuasa Kementerian Pelajaran. Oleh kerana mendapat desakan daripada pihak pendidikan tempat dan pihak-pihak lain supaya pendidikan Perlis diasingkan daripada Kedah, Jabatan Pelajaran Perlis telah diasingkan daripada Jabatan Pelajaran Kedah pada tahun 1962.  Diantara perubahan yang ketara dalam beberapa tahun selepas pertubuhan Jabatan Pelajaran Perlis ialah pertambahan bilangan Sekolah Inggeris Rendah iaitu Sekolah Inggeris Kangar dan Sekolah Inggeris Putra.  Jika dicampur dengan sekolah swasta yang mendapat bantuan kerajaan iaitu Sekolah Inggeris Stella Maris, jumlah keseluruhannya menjadi 3 buah. Sementara itu, Sekolah Rendah Inggeris akan menghantar pelajar-pelajar yang berjaya ke Sekolah Inggeris Derma untuk meneruskan pelajaran di peringkat Sekolah Menengah.  Oleh itu, Pentadbiran di JPPs turut mengalami pengubahsuaian di mana jawatan penolong pengelola sekolah-sekolah Melayu telah ditukar kepada penolong pengelola sekolah-sekolah Rendah akan berjawab dalam urusan yang berkaitan dengan Sekolah Inggeris, Cina dan Tamil. Kaum Cina yang tidak ketinggalan dalam menyusahkan sebuah institut pelajaran menengah Inggeris untuk kaum Cina.

  Pada tahun 1961, Sekolah Menengah Perlis telah ditubuhkan dan sekolah ini telah mendapat bantuan penuh dari kerajaan Perlis. Pada tahun 1962, satu perubahan telah berlalu di mana, peluang untuk mengikuti pelajaran menengah dengan membangunkan sebuah sekolah menengah di Jejawi yang dikenali sebagai sekolah lanjutan. Sekolah ini merupakan sebuah sekolah di Jejawi yang dikenali sebagai Sekolah Pelajaran Lanjutan. Sekolah ini merupakan sebuah sekolah menengah bukan akademik di mana ia memberi peluang lanjutan untuk meneruskan kepada murid-murid yang tidak berjaya untuk menyambungkan pelajaran di sekolah-sekolah Akademik suatu ketika dulu Sekolah Pelajaran Lanjutan tidak lama ditubuhkan, kerana pada akhir tahun 1964 ianya telah dibubarkan manakala sebuah sekolah aliran Melayu yang bercorak akademik yang pertama ditubuhkan di Perlis ialah Sekolah Menengah Melayu Arau atau sekarang dikenali sebagai Sekolah Menengah Dato’ Sheikh Ahmad di mana satu ketika dulu, sekolah yang berkenaan telah menumpang bilik darjah di Sekolah Menengah Inggeris Derma dan akhirnya telah bertukar ke Arau pada tahun 1963.

  Pada tahun 1964, Sekolah Menengah Kebangsaan Simpang Empat telah ditukarkan nama sebagai Sekolah Menengah Syed Saffi. Sekitar tahun 1964, jumlah keseluruhan Sekolah Menengah Kerajaan dan bantuan kerajaan adalah sebanyak 5 buah, tidak termasuk dengan Sekolah Agama.

  Akibat dari perubahan sistem penentuan untuk memberi penempatan belajar ke alam sekolah menengah, satu pembaharuan telah berlaku pada tahun 1965 iaitu dari segi pertumbuhan bilangan Sekolah Menengah dan bilangan para pelajar. Sistem ini dikenali sebagai sistem Sekolah Menengah Rendah Anika Jurusan di mana sebanyak 6 buah Sekolah Menengah Rendah yang mempunyai pelbagai matapelajaran telah ditubuhkan di Negeri Perlis iaitu 2 buah di Kangar dan sebuah bagi setiap kawasan di Arau, Tambun Tulang, Kayang dan Tunjong.  Pada tahun 1968, 6 buah sekolah tersebut telah ditempatkan dibangunnya sendiri.  Di awal pertubuhannya, kesemua sekolah tersebut telah menggunakan bahasa Kebangsaan dan Inggeris dalam pengajarannya kecuali Sekolah Menengah Rendah Arau dan Sekolah Menengah Rendah Kangar yang hanya menggunakan bahasa Kebangsaan dan Sekolah Menengah Putra yang menggunakan bahasa Inggeris dalam pembelajaran.

  Pada tahun 1977, semua Sekolah Menengah Rendah tersebut telah ditukar sebagai Sekolah Menengah Kebangsaan selaras dengan perlaksanaan dasar pembelajaran penggunaan Bahasa Melayu sebagai bahasa penghantar.  Pada tahun 1973, Sekolah Menengah Vokasional dan Sekolah Menengah Sains telah ditubuhkan dimana ia telah dilengkapi dengan pelbagai kemudahan seperti asrama dan lain-lain. Di mana Sekolah Menengah Vokasional tersebut berperanan memberi peluang latihan asas di dalam bidang kerja amali, manakala Sekolah Menengah Sains pula memberi peluang kepada para pelajar yang layak mengikuti kursus-kursus dalam jurusan Sains.

  Dengan mengambil alih 2 buah Sekolah Menengah di Batu 16, Jalan Padang Besar dan Kuala Perlis.  Oleh itu, jumlah keseluruhan di Negeri Perlis pada masa itu ialah 16 buah sekolah.  Kini jika dikaji sejurus selepas negara mencapai kemerdekaan perangkaan bilangan guru dalam Sekolah Menengah pada tahun 1957, telah menjangkau sebanyak 15 orang dan bilangan pelajar sebanyak 360 orang.  Pada tahun 1982, bilangan tersebut telah bertambah menjadi 1571 orang guru dan 13,945 orang pelajar.  Dari segi pentadbiran di peringkat Jabatan Pelajaran pula, bilangan pegawai ikhtisas telah bertambah kepada 40 orang.  Manakala pegawai pembantu yang terdiri daripada pegawai pekeranian dan buruh berjumlah 748 orang.  Sehingga ke hari kini, JPN Perlis telah mentadbir lebih daripada 2300 orang pegawai dan kakitangan.  Jumlah kos keseluruhan meningkat kepada RM25 juta ringgit di mana peruntukkan bagi tahun 1982 ialah 32 juta ringgit dan 31 juta ringgit diperuntukkan bagi tahun 1982 di mana tidak termasuk kos pembangunan.  Jumlah bayaran gaji yang diuruskan JPN Perlis pada masa ini ialah1.85 juta ringgit setiap bulan.  Semasa kemerdekaan terdapat hanya 2 orang guru berijazah dalam sistem Pentadbiran Jabatan Pelajaran Negeri, tetapi kini bilangan tersebut telah meningkat kepada 258 orang guru.

  Pada tahun 1970, pengetua bagi setiap sekolah menengah yang terdiri daripada guru latihan Maktab telah ditukar kepada guru-guru besar yang berijazah. Pada tahun ini, satu lagi usaha yang telah dilakukan dalam menyeragamkan sistem Pentadbiran Jabatan Pelajaran Negeri di seluruh Negara telah diimplementasikan mulai 1 Jun ini. Dengan penyusunan semula unit-unit pentadbiran, bilangan pegawai ikhtisas telah bertambah di Jabatan Pelajaran Negeri.  Sejak tahun 1972, guru-guru besar di sekolah menengah menerima kenaikan pangkat berdasarkan gred-gred yang telah diketepikan. Perubahan ini dikenali sebagai perkembangan kearah pentadbiran yang lebih bertanggungjawab, cekap dan bermutu.