安政５年（１８５８年）７月、長州藩が京都へ諜報活動要員として派遣した６人のうちの１人として、松下村塾から選ばれた杉山と伊藤俊輔（のちの伊藤博文）らとともに上京し、尊王攘夷派の大物であった久坂玄瑞・梁川星巌・梅田雲浜らに感化され、１０月の帰藩後に久坂の紹介で吉田松陰の松下村塾に入塾したとされる。
松陰門下となったことは出自の低い山県や伊藤らが世に出る一助となったと考えられる。
山県が入塾したとされる時期から数か月後、松陰は獄に下り刑死することになったため、山県の在塾期間はきわめて短かったと考えられる。
しかし彼は松陰から大きな影響を受けたと終世語り、生涯「松陰先生門下生」と称し続けた。
文久３年（１８６３年）２月に再度京都へ向かい、滞在中に高杉晋作と出会い親しくなる。
高杉の６月の奇兵隊創設とともにこれに参加し、武芸や兵法の素養を活かして頭角を現す。高杉は身分にとらわれずに有能な人材を登用したため、低い身分であった伊藤や山県などが世に出るきっかけを与えた。
松下村塾と奇兵隊の存在により、幕末の長州藩からは伊藤や山県のように、足軽以下の平民と大差ない身分の志士が多く出ている。
１２月、高杉が教法寺事件の責を負い総督の任を解かれた際には、３代目総管・赤禰武人とともに副官に当たる奇兵隊軍監に就任し、しばしば病気で身を持ち崩しながらも兵隊訓練と壇ノ浦警備に励んだ。
長州防衛戦
元治元年（１８６４年）、長州藩の運命が大きく動く事態が４つも起こった。１つ目と２つ
目は７月の禁門の変とそれに先立つ６月の池田屋事件が京都で発生、杉山が池田屋で、久坂と入江九一ら同門の友人たちが禁門の変で次々と犠牲になった。３つ目は８月の下関戦争で、山県は壇ノ浦砲台で外国艦隊相手に応戦したが、装備で大きく差がついた外国勢に敵わず敗北している。
４つ目は江戸幕府が禁門の変の報復として発令した第一次長州征討で、このときは家老らの切腹で戦争は回避されたが、高杉は幕府に恭順した椋梨藤太ら俗論派に反発し１２月に挙兵した（功山寺挙兵）。
赤禰や山県は当初高杉が無謀な反乱に踏み切ることに危うさを感じ支持しなかったが、翌元治２年（慶応元年、１８６５年。）1月に赤禰が出奔したあとは山県が事実上奇兵隊を掌握、高杉支持に転向し俗論派を野戦で撃破、長州正義派の勝利に導いた
慶応２年（１８６６年）の第二次長州征討では、軍監のまま名目上は奇兵隊４代目総管である山内梅三郎の下についていたが、高杉とともに実権を握り北九州の小倉藩を占領する活躍を見せ、７月２７日の赤坂・鳥越の戦いなど小倉藩兵の抵抗に苦しめられたが、戦局は長州藩有利のまま１２月に和睦を迎えた。
以後は木戸孝允の配下になり、慶応３年（１８６７年）４月に亡くなった高杉の葬儀を済ませると、木戸に上洛を申し出て５月に３度京都へ赴き、薩摩藩士西郷隆盛・大久保利通・黒田清隆らと交流を結んだ。
国父島津久光や家老小松清廉とも面会し、天下の行く末や倒幕のための挙兵・連携計画を打ち合わせ６月に帰藩した。
充実した京都とは対照的に、長州藩に戻ってからは面白くない出来事が続き、山県の体調にも悪影響を与えた。合流を約束した薩摩勢がなかなか来ない焦りから病気になり、一時軍監を免じられている。
１１月にようやく薩摩勢が長州勢と合流したあと京都へ向かったが、山県は人選から外れて同門の山田顕義が上洛勢に加わり、翌慶応４年（明治元年・１８６８年）１月の鳥羽・伏見の戦いで長州勢の指揮を執る、山県は奇兵隊を率いたまま長州に残るなど憤懣やるかたない日々を過ごした。なお、上洛前の４月に庄屋の娘・友子と結婚、帰藩した７月に式を挙げている。
だが、艦隊はすぐに態勢を立て直し、砲撃をしかけ陸戦隊を降ろし、砲台を占拠して砲を破壊するとともに、一部は下関市街を目指して内陸部へ進軍して長州藩兵と交戦した。
元治元年８月７日（１９６４年９月７日）、艦隊は彦島の砲台群を集中攻撃し、陸戦隊を上陸させ大砲を鹵獲した。
８日までに下関のちょうしゅうはんの砲台はことごとく破壊された。連合軍が一連の戦闘でろかくしたかくしゅたいほうは６２門にきゅうんだ。陸戦でも長州藩兵は旧式銃や槍弓矢しか持たず、新式のライフル銃を持つ連合軍を相手に敗退した。長州藩死者１８人・負傷者２９人、連合軍は死者１２人・負傷者５０人だった。
彦島（ひこしま）は、山口県下関市の南端にある島。
また、下関市の彦島地区（下関市役所支所設置条例で示された下関市役所彦島支所の所管する区域）を指す地域名称でもある。
この場合、彦島本島のほか、響灘に浮かぶ六連島（むつれじま）、彦島の至近にある竹ノ子島（たけのこじま、彦島と道路橋で接続）、巌流島（正式名称は船島）の３島を含む。
２００９年（平成２１年）２月２８日現在の人口は３１，１２６人（下関市役所ホームページによる）と、本州・北海道・九州・四国・沖縄本島などを除くと日本有数の人口の多い島で、島内には重工業地帯が広がっている。
下関の本土とは、関彦橋（かんげんきょう）、下関漁港閘門（小瀬戸水門）、彦島大橋の３ルートでつながっている。東側（関門海峡側）の彦島江の浦町には山口県道２５０号南風泊港線の一部をなす関彦橋が架かり、下関駅・唐戸・国道9号方面に通じる。関彦橋の２５０㎡ほど北西の彦島本村町６丁目に下関漁港閘門があり、閘門の上を通行することが可能である。北端の響灘沿いの彦島迫町には彦島道路が通っており彦島大橋が架かり、国道１９１号・東駅・下関ＩＣ方面に通じる。
島内ではサンデン交通がバスを運行している。彦島営業所があり島内各地と市中心部の唐戸・東駅・下関駅を結ぶ便がある。鉄道については、ＪＲ山陽本線の関門トンネルの本州側の入り口があり、線路は通るが駅がない。
産業としては、造船業や重化学工業、水産加工業などが盛ん。主な企業として、三菱重工業下関造船所・下関三井化学 （三井化学関連会社、旧・三井東圧化学彦島工場）・ 彦島製錬（三井金属関連会社） などがある。
竹の子島や、巌流島（船島）等を含めた彦島地区の面積は１１．２６ ㎞²（下関市役所ホームページによる）。