El doctor Domingo Inchausti, dirigente cestero, fue elegido como su primer presidente. Un reconocido y destacado periodista deportivo de la época, Adriano Jara Carmona, fue nombrado vicepresidente y más adelante sucedió en el más alto cargo de la entidad al citado doctor Inchausti.
De los fundadores, el único sobreviviente hoy es el doctor Jorge Acosta González, secretario general de la primera directiva del Comité Olímpico Paraguayo, quien en abril pasado cumplió 96 años de vida.
El COP completó todo el mandato de su primer titular en la sede de la Confederación Paraguaya de Basquetbol, independizándose luego al alquilar una modesta y pequeña oficina de un solo ambiente, en el céntrico edificio Mercurio, ubicado en Benjamín Constant y Ayolas.
Asumieron sucesivamente luego la presidencia Reinaldo Domínguez Dibb, Pablo Jara Rodas, Ramón Zubizarreta (bajo cuyo mandato se alcanzó en Atenas 2004 la única medalla de plata olímpica) y a partir de 2011 el actual titular, Camilo Pérez López Moreira, alcanzó inéditas conquistas directrices como la presidencia de ODESUR y el rango de miembro del Comité Olímpico Internacional (logros inéditos por paraguayo alguno anteriormente).
Y durante cuyo mandato se obtuvo el primer oro panamericano, registrado en la fecha del 11 de agosto de 2019 en la ciudad de Lima, Perú por el golfista Fabrizio Zanotti, justo en el día del cumpleaños 49 del COP, la entidad que continuó después registrando sus grandes logros deportivos y avances edilicios.
La primera sede propia del COP fue una casa ubicada en Zorrilla de San Martín y Zeballos, propiedad adquirida por la institución que se perdió a raíz de un juicio entablado y ganado por el atleta Edgar Baumann por habérsele negado la participación en los Juegos Olímpicos de Sídney 2000. En febrero de 2010 se llegó a un acuerdo conciliatorio y se dio por culminada la demanda siendo necesaria la cesión del inmueble a la parte ganadora para cubrir el costo del embargo.
Finalmente el COP, a iniciativa del presidente Zubizarreta, se instaló en Luque, donde en diversas etapas completó la construcción de su hoy monumental Parque Olímpico, uno de los más completos y mejor equipados del continente, con implantes de primer mundo que son orgullo para el deporte paraguayo y sudamericano.
En materia de albergue de grandes eventos, como nunca antes en toda la historia, en la presente década se alcanzaron a propiciar competencias polideportivas del máximo nivel siendo los más importantes los Juegos Odesur ASU2022 y los Panamericanos Junior 2025, gracias a cuyo éxito, empezaron a llover todo tipo de eventos internacionales en diferentes disciplinas.
También Paraguay ganó la sede de los Panamericanos adultos 2031 y es candidata a propiciar los Juegos Olimpicos de la Juventud en 2030 que también aspiran a organizar Santiago de Chile y Bangkok, Tailandia.