I genitori di Henri erano il conte Alphonse-Charles-Marie de Toulouse-Lautrec-Montfa e la contessa Adèle-Zoë-Marie-Marquette Tapié de Céleyran, ed erano cugini primi (le madri degli sposi erano sorelle). Il padre di Lautrec, il conte Alphonse, era un bizzarro esibizionista ed un insaziabile dongiovanni e amava consacrarsi all'ozio e ai passatempi dei ricchi, frequentando l'alta società e seguendo la caccia e l'ippica (le corse a Chantilly erano il suo pane quotidiano).[2] Il suo elemento era l'aria aperta, come possiamo leggere in queste parole che rivolse al figlio quando compì dodici anni:
«Tieni sempre a mente, figlio mio, che soltanto la vita all'aria aperta e alla luce del giorno è davvero salutare: qualunque essere, privato della libertà, si immiserisce e muore in breve tempo. Se un giorno dovessi conoscere l'amarezza dell'esistenza, troverai soprattutto nel cavallo, ma anche nel cane e nel falco, dei compagni preziosi, che ti aiuteranno a superare le tue afflizioni.»
(Alphonse de Toulouse-Lautrec[1])
Furono queste parole di estremo conforto per Henri, soprattutto nei momenti più difficili, ma che erano incompatibili con il suo temperamento indomito, dal quale fu eccitato ad avventurarsi nel buio dei cabaret parigini e non tanto nei campi all'aria aperta.
