Nació el 10 de Julio de 1834 en Lowell, en el Estado de Massachusetts, era hijo de un oficial de ejército que, como ingeniero, había trabajado en la construcción del primer ferrocarril ruso que unía Moscú con San Petersburgo. Estudió en 1851/1854 en la academia militar de West Point. Abandaonó la carrera militar, trabajó como cartógrafo para la marina, donde aprendió la técnica del aguafuerte, antes de llegar en 1855 a París para estudiar pintura.

Su brillantez como artista y como conversador le granjeó la amistad de Fantin-latour, Manet y Degás. En 1863 se trasladó a Londres, allí conoció a Rossetti y se convirtió en adalid de la vida bohemia. En 1888 se casó con Beatrix Godwin, viuda de E.W. Godwin, que había colaborado en la muestra artística que le abrió con éxito las puertas de París.

Falleció el 17 de julio de 1903 en Londres, el pintor que está considerado como uno de los pioneros del vanguardismo de las primeras décadas del siglo XX.