ザスロフスキーはロシア移民の子として生まれ、ブルックリンブラウンズビルのユダヤ人居住区で育った。少年時代は近所のプレイグラウンドに通いつめ、毎日5～6時間のバスケット漬けの日々を過ごした。高校はトーマス・ジェファーソン高校に進学し、そこでバスケット選手として注目を集めるようになるが、高校卒業後は兵役に就き、第二次世界大戦中の2年間を海軍で過ごした。除隊後はセント・ジョーンズ大学に進学し、最初のシーズンには平均7.8得点、通算140得点を記録し、チームの主要な得点源の一人として活躍した。
ザスロフスキーが大学でプレイしていた頃、アメリカのバスケットボール界に初の本格的なプロバスケットリーグBAA（NBAの前身）が誕生。当時結婚したばかりのザスロフスキーは家計を支えるためにも大学を1年で中退し、この生まれたばかりのリーグに参加することを決意した。