El primer campo deportivo del club Tacuary se encontraba en Barrio Jara pero en un predio en lo que hoy en día son las calles Ayala Velázquez y República de Siria a unos 100 metros al Sur del estadio actual.
En el año 1959 el señor Toribio Vargas, un empresario de la construcción donó un predio en lo que hoy en día son las calles Ayala Velázquez y Libertad, para el club, en el acta de la Escritura Pública se estipulaba que el estadio debería llevar el nombre del donante por un periodo de 30 años, pero pasado más de 50 años de ese momento el estadio sigue llevando la misma denominación.
En la década de 1970 el estadio se convirtió en el primer escenario de las categorías de ascenso de la Asociación Paraguaya de Fútbol en contar con lumínica, aunque con el paso del tiempo el sistema de iluminación quedó obsoleto.
Desde el 2002 al 2014 el club Tacuary dejó de utilizar este estadio y pasó a jugar sus partidos de local en el estadio Roberto Bettega que se encontraba localizado en el barrio Zeballos Cué de Asunción.
Para la temporada 2015 el club Tacuary debía volver a jugar de local en el estadio Toribio Vargas, pero tras más de 10 años de abandono el estadio no se encontraba en condiciones para ser habilitado.
En la temporada 2015 de la División Intermedia el club tuvo que ejercer de local en estadios de clubes vecinos, ya que continuaban los trabajos para poner en condiciones el estadio. Finalmente en la 22ª fecha del campeonato el 22 de agosto el club Tacuary actuó de nuevo de local en su estadio del Barrio Jara.