高校の卒業を控え、全米中の大学からの勧誘が殺到するなかで、彼は州で一番のバスケットの強豪であるミシガン大学と高校の時からよく出入りして練習に参加させてもらっていたミシガン州立大学のどちらに進学するか、あるいは全米の他の有名大学に進学するかを相当悩んでいた。学校の恩師やバスケット関係者の多くがミシガン州立大学の出身で、本人も本当は地元のミシガン州立大学に行きたかったが、新たに同大学のコーチとなったジャッド-ヒースコートは試合中に選手を怒鳴りつけることが多く、ジョンソンはあまりいい印象を持っていなかった。しかし、彼の家を訪問したヒースコートは、「他の大学に進めば君はセンターとして起用されるだろう。しかし、私は君をポイント-ガードとして起用するつもりだ」とジョンソンの天分を見抜いた。またよく怒鳴るのも彼の情熱の現れだと知り、これが決め手となってジョンソンはミシガン州立大学への進学を決める。
大学でのジョンソンは、1年生の時にはそれまであまり強豪とは言えなかったミシガン州立大学のチーム(スパルタンズ)を率いて25勝5敗の成績を残し、NCAAファイナル-フォーにはあとわずかで届かなかったが前年とは比較にならない好成績を残す。2年生時にはスパルタンズは25勝5敗で地区制覇し、NCAAトーナメント決勝へと進出した。決勝へ勝ち上がってきたもう一つのチームは、それまで一度もNCAAトーナメントに出場もしたことのない無名校インディアナ州立大だった。ラリー-バード率いる同大学のチームはシーズンを33勝0敗で過ごしており、両者の対決する決勝戦は大学バスケットボール決勝の歴史で最高の視聴率を記録した。前日の練習でコーチのヒースコートに「仮想-ラリー-バード」の役を演じるように命じられたジョンソンが見事なパフォーマンスを見せたことも功を奏し、ジョンソンのミシガン州立大学がバードを抑えることに成功し、75-64で勝利。ジョンソンとミシガン州立大学は初のNCAAチャンピオンとなった。しかし、この時始まったジョンソンとバードのライバル関係はプロ入り以降にも続くことになる。また、大学時代の同級生で、後に妻となる女性ともこの頃出会っている。しかし、ジョンソンはバスケットで勝利することが一番の望みで、家庭生活がその妨げになることを恐れ、その後10年以上付き合ったり、別れたり、婚約しては解消するなどの関係となり、結婚したのは1991年である。