Du schreibst "Ohne Gepäck braucht man da zwei Stunden rauf". Das hängt natürlich u. a. vom Ausgangspunkt ab. Nach meiner Erinnerung dürften's ab Prad über 1.500 Höhenmeter sein, für die ich für mich etwa 3h kalkulieren würde, was selbstverständlich abhängig von Kondition etc. ist. Sehr reizvoll finde ich den Vorschlag, durch's schöne Val Mustair und den Umbrailpass hochzufahren und dann die StilfserJopch-Nordrampe runter.
Natürlich meinte ich die "klassische" Anfahrt von Prad aus - die hat meiner Erinnerung nach etwas über 1800hm. Über den Umbrail würde ich nicht so gerne hochfahren (da bin ich das letzte mal runter), über Bormio nur wenn man grade vom Gavia kommt

Die meisten fahren den Stelvio doch deswegen, weils halt möglichst viele Höhenmeter am Stück sind und der Pass recht hoch liegt - schöne Pässe gibts anderswo auch. Und wenn das die Motivation ist, würde ich auch annehmen, dass man ordentlich trainiert ist. 3h - ist ein bisschen viel aber viel schneller würde ich das wohl derzeit auch nicht schaffen. Blos würde ich mich derzeit hüten dort hoch zu fahren.