Attacken utfördes enligt israeliska medier när människor lämnade synagogan Ateret Avraham efter fredagskvällens bön.
Polis uppger för nyhetsbyrån AFP att sju människor dödats. Räddningstjänsten säger samtidigt att flera skadats och att minst tre personer förts till sjukhus, varav två var allvarligt skadade.
Enligt tidningen Haaretz har den extrema islamiströrelsen Hamas tagit på sig dådet och uppgett att det är en hämnd för den israeliska militärinsatsen på Västbanken på torsdagen, då nio palestinier dödades.
Den misstänkte gärningsmannen har identifierats som en 21-årig man hemmavarande i stadsdelen Shuafat i östra Jerusalem. Enligt israeliska medier har mannen inte tidigare kända kopplingar till terrorgrupper.
Mannen försökte fly brottsplatsen med bil men sköts till döds av israelisk polis.
Attacker från och mot Gaza
Dådet i Jerusalem inträffade efter en dag av fortsatta oroligheter i regionen, och den senaste utvecklingen hotar att trappa upp en redan förvärrad våldsspiral.
Fredagen inleddes med att fem raketer sköts från Gaza mot Israel som i sin tur svarade med flyganfall mot Gaza.
Enligt Israels militär stoppades tre av de palestinska raketerna av luftvärnssystemet Järnkupolen. En raket landade i ett obebott område och en ska ha tagit mark inne i Gaza.
Säkerhetskällor inom Hamas, som styr på Gazaremsan, uppgav för AFP att 15 attacker genomförts mot militära mål men utan att några skador rapporterats.
Första testet
Anders Persson, statsvetare vid Linnéuniversitetet, kallar situationen prekär, med många möjliga scenarior att vänta – varav ett är början på en ny våldsvåg.
– Alla tecken har under lång tid pekat i fel riktning, säger han till TT.
– Men det är inte givet att det kommer att fortsätta bli en upptrappning. Nu återstår det att se hur den israeliska regeringen svarar. Detta blir det första stora säkerhetstestet för den nya regeringen och den nya extremistiska ministrarna.
– Det faktum att (USA:s utrikesminister Antony) Blinken är på ingång kan ha en förmildrande effekt. Men man kan också tänka sig att det israeliska svaret kommer efter att Blinkens har varit där, säger Anders Persson och påpekar att detta är den värsta terrorattacken i Jerusalem sedan 2008.
FN vädjar
Antony Blinken anländer till regionen på söndag. Bara minuter efter att fredagens dåd blev känt fördömdes det av USA och utrikesdepartementets talesperson Vedant Patel sade att landets "åtaganden för att hålla Israel säkert ligger fast".
FN vädjade samtidigt om lugn från alla inblandade parter. FN:s organ för mänskliga rättigheter varnar för en "oändlig cykel av våldsamheter".
"Så här långt i år: 28 dödade. 2022: 152 dödade. Alla som bär ansvar måste ställas till svars", skriver FN-organet på Twitter efter att dödstalet steg på torsdagen.
Efter militärinsatsen av Israel meddelade de palestinska myndigheterna att de bryter säkerhetssamarbetet med Israel.
"Säkerhetssamarbetet med den israeliska ockupationsregeringen existerar från och med nu inte längre", hette det i ett uttalande från Mahmoud Abbas kansli.
– Det är ytterligare ett tecken som pekar åt fel håll. Situationen blir mer instabil och risken för våldsamheter ökar, säger Anders Persson.