Paul Auster comenzó a escribir La invención de la soledad cuando murió su padre de forma repentina. La obra está formada por dos textos diferenciados: el primero, «Retrato de un hombre invisible», es una reflexión del autor sobre un hecho misterioso del pasado familiar y las consecuencias que este tuvo en el carácter de su padre, la gran figura ausente; de la segunda pieza, «Libro de la Memoria», Enrique Vila-Matas escribió que es «un bello texto que contiene el germen de toda la obra austeriana», es decir, la influencia del destino en nuestras decisiones y el poder de las casualidades.