帕尔曼1945年出生在以色列的特拉维夫。他的父亲虽是一位理发师，却十分喜爱歌剧。当他发现自己两岁半的儿子竟能哼出歌剧中的旋律时，十分惊讶而高兴。一年后的一天，儿子向他要小提琴，说是从收音机里听到一个人把小提琴拉得那么好。父亲告诉他，那人叫海菲兹。帕尔曼从此记住了这个名字。然而一年后，他患上了小儿麻痹症，致使他双腿残废，再也不能和其他孩子一起在外面玩耍，这对只有4岁的帕尔曼来说，实在是天大的不幸。不幸中的万幸是他还有小提琴。于是，他便将童年所有的乐趣和梦想都倾注到了小提琴上。
帕尔曼没有向命运低头，他以顽强的毅力学习小提琴。帕尔曼的父母也没有放弃寄予在孩子身上的希望，他们认为帕尔曼的残疾只是音乐上的一个阻碍，但音乐始终还是音乐，就算他走不了路，并不意味他的手动不了。于是，坐在轮椅上的帕尔曼每天下午练琴3个小时，枯燥的练习对于一个行动不便的孩子来说，是一个异常艰辛的过程，但他还是坚持下来了。不久，他进入特拉维夫的“舒拉米特音乐学校”开始随女小提琴家芙卡·戈德加特学琴。与别的孩子不同，帕尔曼是坐在轮椅上由母亲推着去音乐学校上课的。由于帕尔曼的成绩十分出众，经常在校举行示范表演音乐会，还常常被选中在访问或讲学的大艺术家面前拉琴。或许造物主是公正的，虽然帕尔曼没有正常人的双腿，却有着一双大而又灵巧的双手。在音乐学校的8年学习，帕尔曼打下了扎实的基本功，并开始在社会上崭露头角了。
1963年，18岁的帕尔曼首次在卡内基大厅举行个人独奏音乐会。在音乐会上，他演奏了维尼亚夫斯基的《升F小调第一协奏曲》，赢得满堂喝彩。从那一刻起，这位坐在轮椅上演奏小提琴的年轻人已经赢得了美国听众的心。第二年，他又获得“列文垂特国际音乐比赛”的金奖，一举扬名世界，成为当时国际乐坛最令人瞩目的青年小提琴家之一。也就是从那个时候起，帕尔曼开始了他广泛而辉煌的世界性演奏生涯。
有一次，帕尔曼在纽约市“林肯中心”演奏， 意想不到的事情发生了。在演奏了几个音节后，“啪”的一声，有条琴弦断了！大家心想他只能换一把琴，或者换上一条新弦才能重新演奏了。出乎大家意料，他稍作停顿后，向指挥示意，继续演奏。他倾注了所有的热情与力量，用仅余的三根弦来演奏。在交响乐团的伴奏中，帕尔曼随着演奏的进行，在脑海中变更音符，改编曲子，演奏出全新的乐曲来。演奏完毕，整个音乐厅出现令人敬畏的寂静，比平常持续得更久，然后全体听众纷纷起立，报以热烈的掌声与欢呼，这场异乎寻常的演奏，深深感动了在场每一个人。帕尔曼微笑着，用手帕擦拭额头的汗，向听众鞠躬致意。他谦虚地说：“有时候，一位演奏家的任务是要能够利用手上所有的，创造出最好的音乐！”