Nästan var tredje, drygt 366 000 personer, är över 65 år, enligt Skatteverket.
Orsaken till att pensionärer ofta får kvarskatt är att pensionen kommer från flera olika utbetalare. Regeln är att huvudutbetalaren drar skatt enligt skattetabell, medan övriga drar 30 procent i skatt.
– Det är viktigt framför allt för nya pensionärer att se över sin skatt, så att kvarskatten inte blir en överraskning, säger Emelie Köhn, deklarationssamordnare på Skatteverket i ett pressmeddelande.
Totalt ska nära 24 miljarder kronor betalas i kvarskatt. Av dessa är det 6,3 miljarder som ska betalas av personer över 65 år, varav de flesta har pension.
För de flesta ska kvarskatten vara betald senast den 12 september.