Bulwer-Lyttonin isä Robert Lytton oli Lyttonin ensimmäinen jaarli. Neville meni vuonna 1899 naimisiin Wentworthin paronitar Judith Bluntin kanssa, ja pari sai kolme lasta. Bulwer-Lytton esitteli maalauksiaan vuosina 1900–1940 useissa gallerioissa, muun muassa Lontoon kuninkaallisessa akatemiassa. Hän oli jeu de paumessa kansainvälisen tason taitaja ja voitti olympiapronssia kaksinpelistä Lontoossa 1908. Bulwer-Lytton palveli ensimmäisessä maailmansodassalänsirintamallaSommen ja Amiensin taisteluissa saaden Ranskan hallitukselta kunniamerkin. Hän erosi ensimmäisestä vaimostaan vuonna 1923 ja nai vielä myöhemmin Alexandra Fortelin, jonka kanssa hän sai yhden tyttären. Bulwer-Lytton sai vuonna 1947 jaarlin tittelin hänen veljensä kuoltua, ja vuonna 1951 hän kuoli itse 72 vuoden iässä Pariisissa.[2][1]