Большую часть карьеры он провёл в испанской Барселоне, с которой 6 раз выигрывал чемпионский титул, 2 раза — кубок Испании, 4 раза — Суперкубок Испании. Гвардиола играл в футболке под номером 4, который в Барселоне стал если не легендарным, то по крайней мере очень уважаемым (в данный момент под номером 4 в Барселоне играет мексиканский защитник Рафаэль Маркес). Также в составе Барселоны Гвардиола выиграл Кубок европейских чемпионов в 1992 году, Кубок обладателей кубков в 1997 году, а также дважды выигрывал Суперкубок Европы. На уровне сборной Гвардиола в 1992 году на Олимпийских играх, проходивших в Барселоне, выиграл золотые медали. В 2001 году Гвардиола покинул Барселону, перебравшись в Италию, позже он играл в Кувейте и Мексике, где в 2006 году он закончил карьеру игрока, после чего избрал карьеру тренера.