Dans cet article, quelques conseils utiles pour minimiser cet impact, le plus simple à implémenter consistant à ne pas donner à l'attribut rel la valeur stylesheet mais une autre comme preload et à la corriger de nouveau à stylesheet en JavaScript une fois que la page est chargée (plus de détails sur cette technique.
J'aime aussi la technique du chargement progressif des CSS, s'appliquant par block: voir démo