Han blev nedflyttad till U19-laget.
– Jag tyckte mest synd om mig själv då men det borde ha varit tvärtom, att jag skulle tänkt "okej, nu ska jag köra hårdare", säger den 17-årige högerbacken.
Nedflyttningen blev en tuff period. Pavey sökte hjälp hos klubbens mentala coach Louise Rodgers Holte.
– Man blir påverkad när andra får spela. Jag tänkte: "Vad gör jag för fel?", säger han till Fotbollskanalen.
Samtalen med Rodgers Holte blev avgörande.
– Det har hjälpt mig otroligt mycket. Det handlar om att inte stressa, vi är unga och har mycket att lära.
I fjol fick Pavey inte göra en enda match i Allsvenskan. I år startade han i premiären mot Halmstads BK.
– Det var en tuff period i U19 men det var lärorikt och bra att få med mig det. Det gjorde mig starkare, säger han.
En rak talangkarriär uppåt vändes till mental styrketräning – som nu verkar ha gett resultat.