Sekolah Kebangsaan Legong Ulu telah didirikan pada 31 Mei 1947. Bangunan asal sekolah ini terletak kira-kira 50 meter dari bangunan yang ada pada masa sekarang. Bangunan asal sekolah ini diperbuat daripada kayu dan beratapkan daun rumbia yang didirikan hasil kerja gotong-royong penduduk kampung Legong Ulu memandangkan pada masa tersebut tidak terdapat sekolah yang berdekatan untuk anak-anak penduduk kampung meneruskan pendidikan. Bangunan ini pada mulanya mengandungi 6 buah bilik darjah bagi menampung murid-murid dari Darjah 1 hingga 6.
Bilangan asal murid sekolah ini seramai 100 orang yang terdiri dari anak-anak penduduk Kampung Legong Ulu dan kampung berdekatan. Bilangan guru di sekolah ini pada asalnya ialah seramai 6 orang yang diketuai oleh Guru Besar pada masa itu iaitu En. Jonet b. Ngah yang bertugas dari tahun 1947 – 1950.
Pada tahun 1953, bangunan yang telah didirikan telah runtuh akibat ditiup angin yang kuat. Murid – murid tahun 4, 5 dan 6 telah ditempatkan sementara di dalam hutan yang berhampiran manakala murid – murid tahun 1, 2 dan 3 telah ditempatkan di balai raya kampung ini. Walaubagaimanapun, bangunan baru telah dibina untuk menggantikan bangunan yang roboh dan telah siap pada tahun 1968. Bangunan tersebut telah dirasmikan oleh Undang Luak Rembau di bawah kelolaan 11 orang Guru Besar sehingga tahun 2009.
Pada tahun 2009 SKLU telah menerima sebuah bangunan baru empat tingkat daripada JKR. Pada tahun 2018, bilangan murid-murid sekolah ini adalah seramai 63 orang yang terdiri dari tahun 1 hingga tahun 6 dan guru seramai 11 orang.
