5 mm höher wirst du beim direkten Umstieg wahrscheinlich schon merken, aber dich schnell dran gewöhnen. Das Entscheidende ist der Nachlauf. Wenn die Vorbiegung geringer ausfällt, wird der Nachlauf größer. Auch das dürfte bei 5 mm Differenz spürbar sein. Die Lenkung geht dann einen Tick weg von "drehen" in Richtung "kippen". (Easy rider wäre ein extremes Beispiel für Lenken durch Kippen des Vorderrads, Beispiele für reines Drehen ohne Nachlauf fallen mir nicht ein, wäre am Fahrrad ein no go.)

Fazit: bei den angegebenen 3-5 mm Differenzen würde ich noch ein Auge zudrücken. Du solltest immerhin darauf achten, daß nicht beides um je 5 mm abweicht.