Angreppet ägde rum vid Damaskusporten, en av ingångarna till den gamla staden i Jerusalem.
Israelisk polis har släppt ett filmklipp som visar hur en man som korsar en gata vänder sig om och hugger, eller försöker hugga, en ultraortodox judisk man flera gånger med kniv.
Efter det löper han mot en israelisk polis, som öppnar eld och skjuter honom med flera skott.
Ett annat klipp, som ett vittne filmat ur en bil intill händelseförloppet, visar hur en man som lär vara gärningsmannen ligger på marken och vrider sig. Då skjuts han ytterligare minst två gånger.
Överlevde attacken
Den judiske mannen som blev attackerad av knivmannen är i 20-årsåldern och har överlevt, men hans skador beskrivs som potentiellt allvarliga.
Israels premiärminister Naftali Bennett hyllar polisens ingripande "mot en terrorist som försökte mörda en israelisk medborgare". De inblandade poliserna får också fullt stöd av gränspolisens befälhavare Amir Cohen.
Den döde knivmannen uppges vara i 25-årsåldern och komma från norra Västbanken. Det palestinska utrikesdepartementet beskriver hans död som en avrättning.
"Dödandet av denna unge man efter att han redan skadats är ett dokumenterat krigsbrott", skriver palestiniernas ledare på Västbanken, Mahmud Abbas.
En av Israels ministrar, Esawi Frej som representerar ett av regeringens arabiska partier, anser att polisens skott behöver utredas.
Skingrade folkmassor
Händelseförloppet vid Damaskusporten fortsatte med drabbningar mellan palestinska ungdomar israeliska poliser, som försökte skingra folkmassorna med tårgas. I samband med det behövde tre palestinier sjukhusvård, uppger Röda halvmånen.
Den gamla staden i östra Jerusalem har varit ockuperat av Israel sedan 1967. Palestinierna ser det som huvudstaden i en framtida palestinsk stat.