¿Puedes? Seguro. No hay restricción en el método de publicación. Además, el premio es para el cuerpo de trabajo del autor, no para una sola publicación, por lo que claramente hay mucha libertad involucrada. Los cuerpos de trabajo en última instancia han abarcado libros, artículos de periódicos, artículos en revistas, etc. .
¿Lo harás? Casi seguro que no. El premio Nobel de literatura es una especie de premio por logros de por vida. Esto significa, en primer lugar, que su competencia es enorme. No solo potencialmente todos los que escribieron un libro este año. Potencialmente, son todos los que han publicado algo, una cifra que sin duda se encuentra con las decenas de millones al menos. Además, las personas con más probabilidades de ganar son aquellas con grandes e influyentes cuerpos de trabajo, no solo un libro. No hay nada en las reglas en contra de que ganes el premio por un solo libro autoeditado, pero realmente no me gustan tus probabilidades.