ボストンのバークリー音楽大学出身。在学中はミック・グッドリック、ゲイリー・バートンらに師事。同校の講師であったパット・メセニーに勧められてブラッド・スウェット&ティアーズのオーディションに参加し、1976年に正式メンバーとして加入。その後2年間共に活動。同バンドのアルバム数本にも加わっている。
マイルス・デイヴィスによる抜擢
1979年、スターンはビリー・コブハムのフュージョン・バンドに参加した。2年後、同時期に抜擢されたサックス奏者のビル・エヴァンスの紹介によりマイルス・デイヴィスのグループに参加。1981年6月27日にボストンのナイトクラブでデビュー。アルバム『ザ・マン・ウィズ・ザ・ホーン』、『スター・ピープル』（1983年）のレコーディングにも参加した。1983年までマイルスのバンドに参加した後、1983年から1984年にかけてはジャコ・パストリアスのアルバム『ワード・オブ・マウス』に伴うツアーのバンドに参加。1985年にはマイルスのバンドに復帰し、1年近くツアーに同行した。ちなみに当時のマイク・スターンは現在とは違い、異常な肥満体型であり、マイルスから「FAT TIME」といわれており、彼のディストーションの効いたサウンドによるジャズ・アプローチが聴ける『ザ・マン・ウィズ・ザ・ホーン』収録曲は「Fat Time」と名付けられた。マイルスはスターンに常々「ジミ・ヘンドリックスのように弾け」と指示していたと言われている。
ソロ・デビュー
1983年、ソロ・デビュー作となるアルバム『ファット・タイム』が日本のトリオ・レコードからリリースされた。マイルスのバンドではディストーションの効いたロック的なプレイを聴かせていたが、本作では随所にビバップ的なアプローチを見せた。
1986年、2作目『アップサイド・ダウンサイド』がアトランティック・レコードからリリースされた。この作品にはジャコ・パストリアスやデイヴィッド・サンボーン、ミッチェル・フォアマンらが参加している。1986年には、ステップス・アヘッドに参加。その後1988年までマイケル・ブレッカー・バンドの一員として活躍した。
スターン3作目のアトランティック・レコード・リリースのアルバムである1988年の『タイム・イン・プレイス』では、ドラムスのピーター・アースキン、キーボードのジム・ビアード、ベースのジェフ・アンドリュース、パーカッションのドン・アライアスおよびオルガンのドン・グロルニックが参加。続く1989年のアルバム『ジグソー』はスティーヴ・カーンがプロデュースした。
ボブ・バーグとのユニット結成
1989年、スターンはボブ・バーグとユニットを結成。このユニットにはデニス・チェンバースとリンカーン・ゴーインズも参加した。このユニットは1992年まで活動し、アルバム『オッズ・オア・イーヴンズ』を制作している。
ブレッカー・ブラザーズ参加
スターンは1992年に再結成されたブレッカー・ブラザーズに参加、2年間活動をともにすることになる。また1993年には古典的なジャズ・ギターを披露したアルバム『スタンダード』を発表。『ギター・プレイヤー』誌の読者や評論家の選ぶ年間ベスト・ジャズ・ギタリストに選ばれた。ちなみにマイクは1994年の『イズ・ホワット・イット・イズ』、1996年の『ビトゥイーン・ザ・ライン』でグラミー賞にノミネートされている。
1997年にはジョン・パティトゥッチ、ジャック・ディジョネット、ドン・アライアス、マイケル・ブレッカー、デイヴィッド・サンボーンらが参加したアルバム『ギヴ・アンド・テイク』を発表。オービル・W・ギブソン賞を受賞している。
事故とその後
2016年7月、自宅周辺で転倒し、右腕の自由を失う。懸命なリハビリの末、ピックを指に両面テープで接着するなどして復帰にこぎつけ、彼を慕う多くのミュージシャンのサポートを得ながら、17枚目のアルバム『TRIP』を発表、以後も精力的に演奏活動を続ける。
