Il monumento funebre di Virginio comprendeva la scala di una rea che si estendeva verso l’alto dove venivano svolti dei sacrifici in occasione di un ritorno vittorioso da una grande campagna con un esercito entrando a Roma e passando sotto l’arco di trionfo, così il popolo tributava gli onori.
Virginio Rufo nacque nei pressi di Como, in Italia settentrionale, da un appartenente all'ordine equestre.
Nei suoi primi anni di carriera si occupò delle finanze di Smyrna (una città greca in Asia minore), per poi diventare senatore ed infine console, nel 63 d.C. Probabilmente fu un buon comandante militare, se nel 65 d.C. Nerone lo nominò governatore della Germania superiore, ufficio che lo metteva a capo di tre legioni (XXI Rapax, IIII Macedonica e XXII Primigenia).
Rufo accettò di fare da tutore del figlio di un suo amico, il cavaliere romano Lucio Cecilio Secondo, morto negli anni 60 d.C. In quel periodo Rufo ebbe un dissidio con l'oratore greco Nicete, ma Nerone intervenne inviando Nicete in Germania superiore, dove i due avversari si riconciliarono e divennero amici.
Secondo il racconto di Cassio Dione, uno storico e senatore romano vissuto all'inizio del III secolo, Rufo si mosse contro Vindice per combatterlo. Giunto a Besançon, la città non gli aprì le porte, e Rufo la mise sotto assedio. Vindice avanzò in aiuto della città assediata; dopo essersi scambiati dei messaggi, i due comandanti si accordarono per un incontro tra loro due soltanto. Secondo Cassio Dione, i due giunsero ad un accordo contro Nerone. Vindice, allora, avanzò con il suo esercito con lo scopo di occupare la città, gli uomini di Rufo reagirono di propria iniziativa e attaccarono il nemico impreparato, facendone strage. Vindice, in seguito alla sconfitta si suicidò. A questo punto l'esercito acclamò ripetutamente Rufo imperatore, cercando di obbligarlo ad accettare l'impero; Virginio, però, rifiutò e dichiarò che non avrebbe né accettato quell'onore per sé, né avrebbe permesso che fosse dato a qualcuno di diverso del prescelto del Senato. A giugno, il Senato fece la sua scelta riconoscendo Galba imperatore, e Nerone si suicidò. Nell'autunno di quell'anno Rufo concluse il proprio mandato, o in quanto richiamato o perché era giunto il termine della magistratura, per essere sostituito da Marco Ordeonio Flacco.
Nel 69 d.C. Virginio, nominato console per quell'anno, fu leale a quest'ultimo, ma le truppe di Otone furono sconfitte da quelle di Vitellio, e i soldati di Otone arrestarono, per motivi ignoti, Verginio, che riuscì però a fuggire. Virginio consigliò al Senato di riconoscere Vitellio imperatore, e si recò in seguito a Pavia in visita presso il nuovo sovrano: in questa occasione Vitellio gli salvò la vita, sottraendolo alla furia dei suoi ex-soldati, dei quali aveva rifiutato l'acclamazione e poi si era schierato con Otone.
Virginio era in pericolo a causa dei suoi ex-soldati durante il regno di Vitellio, e fu in pericolo anche quando salì al trono Vespasiano, in quanto il console era ritenuto capax imperii, un candidato alla porpora; decise allora di ritirarsi a vita privata, e scelse una proprietà posta ad Alsium (moderna Ladispoli, sulla costa tirrenica a nord-ovest di Roma), dove si tenne occupato con gli studi, la poesia ed un cenacolo letterario di cui fecero probabilmente parte Plinio il Giovane e Quintiliano. La grande considerazione nella quale la figura di Verginio era tenuta dalla storiografia dell'epoca di Vespasiano fece scrivere una volta a Plinio il Giovane che:
«Per trent'anni dopo la sua ora di gloria egli visse leggendo di sé nella storia e nella poesia, cosicché fu testimone vivente della sua futura gloria.»
Nel 96 d.C. l'imperatore Domiziano fu assassinato, e il Senato scelse come suo successore Nerva. La scelta non piacque all'esercito; significativo è dunque il fatto che il nuovo imperatore scelse come collega l'anziano Virginio, un comandante che aveva rifiutato di diventare imperatore e che alla porpora aveva preferito la lealtà al Senato.
Mentre Virginio stava per iniziare il suo discorso inaugurale, fece inavvertitamente cadere un libro che aveva con sé e, piegatosi per raccoglierlo, scivolò sul pavimento liscio e cadde fratturandosi l'anca. Morì alcuni mesi più tardi, dopo una lunga sofferenza. Lo storico Tacito ne pronunciò l'orazione funebre.
Virginio scrisse il proprio epitaffio:
«Qui giace Rufo, che una volta sconfisse Vindice
e liberò il potere imperiale
non per sé, ma per il suo paese.»
La casa ad Alsium fu ereditata da Plinio, che la concesse alla propria suocera; in una visita, nove anni dopo, Plinio scoprì che la tomba di Rufo era ancora incompleta.
Nei suoi 83 anni visse sotto il governo dei primi dodici imperatori: Augusto, Tiberio, Caligola, Claudio, Nerone, Galba, Otone, Vitellio, Vespasiano, Tito, Domiziano e Nerva.
