À partir de 1995, une blessure au pied l'écarte des compétitions pendant deux ans ; on lui diagnostique une polyarthrite rhumatoïde. Un médecin allemand le soigne avec succès. Il ne peut donc pas concourir en 1996.
En 1997, il revient à la compétition et remporte deux tournois et la Ryder Cup avec l'équipe européenne.
En avril 1999, il remporte son deuxième Masters à Augusta, qu'il domine dès le deuxième jour, terminant le parcours huit coups sous le par pour un total de 280, deux coups devant Davis Love III. En remportant à nouveau le Masters, « Txema » Olazabal devient le quatorzième joueur à le remporter deux fois ou plus.
En 1998, il remporte le Dubai Dessert Classic, un tournoi de l'European Golf Tour organisé à l'Emirates Club, après avoir vaincu ses deux rivaux et la pharyngite et la fièvre qui l'ont presque forcé à se retirer du tournoi.
Après sa deuxième « veste verte » et sa victoire au Masters d'Augusta en 1999, ses performances ont décliné. Il n'a réussi à envoyer que 58 % de ses balles dans les fairways et a chuté à la 164e place du circuit européen. En 2000, il a remporté le titre au Benson & Hedges en Angleterre. Mais José María Olazabal souhaitait changer de carrière et a décidé de disputer davantage de tournois sur le circuit américain plutôt qu'européen. À tel point qu'en mai 2001, il a été sacré champion de Roland-Garros et en décembre, de l'Open de Hong Kong, où il a réalisé trois birdies, signant un 64 (-7) pour un total de 262 (-22). Une semaine plus tôt, il avait terminé deuxième à Taïwan. Il continue ainsi d'occuper une place importante dans l'élite du golf, car ces succès permettent au golfeur de Hondarribia d'oublier une période de disette qui, ces dernières années, a plombé son palmarès.