Ich persönlich würde aber am frühen morgen mit dem ersten Licht / Dämmerung starten, dann bist Du bei Sonnenaufgang oben und kannst in der warmen Mittagszeit abfahren.
Das geht wohl nicht auf. Wie lange dauert bei dir der Sonnenaufgang?

Die Sonne geht oben auf dem Berg wesentlich früher auf als unten im Tal. Das ist vielleicht eine Stunde Zeitspanne.
Sonstige Anmerkungen:
(1) Woher kommt eigentlich diese immer wieder aufkeimende Angst vor dem Trubel? Trubel gibt es allenfalls auf der Passhöhe, aber nicht während des Fahrens. Wenn nicht gerade zuviele Motorräder - so ein paar Autos und ein paar Radler - das ist doch lustig. Macht mit Gepäck aber mehr Spaß, weil du dann mehr bewundert wirst. Ohne Gepäck bist du 0-8-15.

Ich bin mal im Juni über dem Umbrail, etwa bei Dämmerung nach Bormio runter. Da war vielleicht ein Auto unterwegs. Zuvor hatte ich noch einen Amerikaner getroffen - mit Rad - der hatte sich für längere Zeit in einem Hotel auf Stilfserjoch einquartiert.
(2) Es wurden eine Reihe von denkbaren Vorschlägen gemacht. Nachmittag zu Abend rauf, oben übernachten (Hotel wäre es mir dann wohl wert), morgens runter wäre vielleicht der Favorit - soweit mir diesen Gedankenspiel fremd ist. Ich könnte mir aber auch andere Varianten vorstellen, da ich nicht unbedingt einen Pass durchgehend fahren muss, sondern auch häufig anfahre: Abends bis Trafoi (ca. 1500m), dort übernachten, am nächsten Morgen ist man vielleicht dann der erste Radler oben. Franzenshöhe ist auch nochmal ein Hotel. Ich hatte bei meiner Auffahrt in Gomagoi ein Paar getroffen, die hatten in Sulden übernachtet - da ist auch total einsam abends. Viel früher ist man bei normalem Aufstehen dann aber auch nicht in Gomagoi als wenn man von Prad käme.