Kantor pusat KONI berada di Jakarta. Adapun, Ketua Umum KONI saat ini dijabat oleh Letjen TNI (Purn) Marciano Norman. KONI memiliki anggota 38 KONI Provinsi yang membawahi 514 KONI Kabupaten/Kota, 71 organisasi induk cabang olahraga dan 6 organisasi fungsional.
Berdirinya KONI diawali dari pembentukan Ikatan Sport Indonesia (ISI) yang dibentuk pada tanggal 8 Oktober 1938 dengan Sutardjo Kartohadikusumo sebagai ketua. ISI dibentuk oleh beberapa organisasi olahraga yaitu Persatuan Sepak Bola Seluruh Indonesia (PSSI), Perserikatan Lawn Tenis Indonesia (Pelti), dan Perserikatan Bola Keranjang Seluruh Indonesia (PBKSI) yang sekarang dikenal sebagai Persatuan Bola Basket Seluruh Indonesia (Perbasi).
Saat didirikan, ISI memiliki tujuan sebagai sarana perjuangan bangsa Indonesia agar dihargai pemerintah kolonial Belanda, memperbaiki dan memperkuat organisasi olahraga yang telah ada sebelumnya, serta sebagai alat pendidikan nasional yang dapat menyehatkan jiwa bangsa Indonesia.
Baca Juga:Haflah Musyahadah, Siapkan Generasi QuraniYudia Berikan Bantuan Hewan Ternak Ayam Kampung
Pada 15-22 Oktober 1938, ISI menggelar Pekan Olahraga ISI di Surakarta. Tanggal 15 Oktober 1938 pun menjadi momentum perjuangan bangsa Indonesia melalui olahraga dan sebagai hari berdirinya Komite Olahraga Nasional Indonesia (KONI).
Pada 2005, pemerintah mengeluarkan Undang-Undang Nomor 3 Tahun 2005 tentang Sistem Keolahragaan Nasional dan melakukan reorganisasi KONI menjadi Komite Olahraga Nasional (KON) dan Komite Olimpiade Indonesia (KOI). KON melakukan pembinaan dalam negeri dan penyelenggaraan Pekan Olahraga Nasional (PON), sementara KOI melakukan kegiatan pengiriman atlet ke luar negeri dan penyelenggara pekan olahraga internasional di Indonesia.*