Per Mertesacker și-a început cariera ca debutant la echipa reprezentativă a orașului său, Hannover 96. În primul meci în care a pășit la echipa mare a avut un start ghinionist, spărgându-și nasul și marcând un gol după incident. Totuși, prestația bună din partidă l-a transformat în unul din cei mai promițători fundași ai Bundesligii. În timpul campionatului a ajuns să conducă defensiva, neutralizând orice adversar.
În august 2006 a fost transferat la SV Werder Bremen pentru 5 milioane de euro ca rezultat al prestației excelente la Campionatul Mondial din 2006. Pe 31 august 2011 s-a confirmat transferul său la formația engleză Arsenal Londra.
Fundașul german a fost convocat pentru prima dată la selecționată pe 9 octombrie 2004 de Jürgen Klinsmann la un amical cu Iran. El avea 19 ani, fiind cel mai tânăr din toată naționala Germaniei.
Mertesacker a devenit o revelație la mondialul de peste doi ani din Germania, dar înfrângerea din semifinale contra Italiei l-a arătat atât de dezamăgit încât nu s-a mai prezentat la finala mică.