Gagasan penyelenggaraan Kongres Pemuda Kedua berasal dari Perhimpunan Pelajar Pelajar Indonesia (PPPI), sebuah organisasi pemuda yang beranggota pelajar dari seluruh Indonesia. Atas inisiatif PPPI, kongres dilaksanakan di tiga gedung yang berbeda dan dibagi dalam tiga kali rapat.
Rapat pertama, Sabtu, 27 Oktober 1928, di Gedung Katholieke Jongenlingen Bond (KJB), Lapangan Banteng. Dalam sambutannya, ketua PPI Soegondo (lihat Sugondo Djojopuspito) berharap kongres ini dapat memperkuat semangat persatuan dalam sanubari para pemuda. Acara dilanjutkan dengan uraian Moehammad Yamin tentang arti dan hubungan persatuan dengan pemuda. Menurutnya, ada lima faktor yang bisa memperkuat persatuan Indonesia yaitu sejarah, bahasa, hukum adat, pendidikan, dan kemauan
Rapat kedua, Minggu, 28 Oktober 1928, di Gedung Oost-Java Bioscoop, membahas masalah pendidikan. Kedua pembicara, Poernomowoelan dan Sarmidi Mangoensarkoro, berpendapat bahwa anak harus mendapat pendidikan kebangsaan, harus pula ada keseimbangan antara pendidikan di sekolah dan di rumah. Anak juga harus dididik secara demokratis.
Pada sesi berikutnya, Soenario menjelaskan pentingnya nasionalisme dan demokrasi selain gerakan kepanduan. Sedangkan Ramelan mengemukakan, gerakan kepanduan tidak bisa dipisahkan dari pergerakan nasional. Gerakan kepanduan sejak dini mendidik anak-anak disiplin dan mandiri, hal-hal yang dibutuhkan dalam perjuangan.
Sebelum kongres ditutup diperdengarkan lagu "Indonesia Raya" karya Wage Rudolf Supratman yang dimainkan dengan biola (dimainkan dengan biola saja atas saran Sugondo kepada Supratman, lihat juga Sugondo Djojopuspito). Lagu tersebut disambut dengan sangat meriah oleh peserta kongres. Kongres ditutup dengan mengumumkan rumusan hasil kongres. Oleh para pemuda yang hadir, rumusan itu diucapkan sebagai Sumpah Setia.
Para peserta Kongres Pemuda II ini berasal dari berbagai wakil organisasi pemuda yang ada pada waktu itu, seperti Jong Java, Jong Ambon, Jong Celebes, Jong Batak, Jong Sumatranen Bond, Jong Islamieten Bond, PPI, dll. Di antara mereka hadir pula beberapa orang pemuda Tionghoa sebagai pengamat, yaitu Oey Kay Siang, John Lauw Tjoan Hok dan Tjio Djien Kwie serta Kwee Thiam Hong sebagai seorang wakil dari Jong Sumatranen Bond.