薩摩の下士の川崎家で生まれ、1788年に下士の調所家の養子になります。
身分の低い出自でしたが、茶道職として出仕し、1798年に江戸へ出府し、隠居していた前藩主の島津重豪にその才能を見出されて登用されます。
島津重豪は海外の知識を集めて蘭学を好み、かなりの出費をしていたため、薩摩藩の財政は悪化していましたが、晩年に調所広郷を登用することにより財政再建を図ります。
後に藩主・島津斉興に仕え、使番・町奉行などを歴任し、小林郷や鹿屋郷、佐多郷などの地頭を兼務します。
そして薩摩藩が琉球や清と行っていた密貿易にも携わります。
1832年に薩摩藩の家老格に、1838年には家老に出世し、藩の財政・農政・軍制改革に取り組みました。
当時、薩摩藩の財政は500万両にも及ぶ膨大な借金を抱えて破綻寸前となっていましたが、調所広郷は行政改革、農政改革を始め、商人を脅迫して借金を無利子で250年の分割払いにし、さらに琉球を通じて清と密貿易を行いました。
一部商人資本に対しては交換条件として、この密貿易品を優先的に扱わせ、借金を踏み倒すだけでなく、むしろ利益を上げさせています。
そして大島・徳之島などから取れる砂糖の専売制を行って大坂の砂糖問屋の関与の排除を行ったり、特産品の開発などを行うなど財政改革を行い、1840年には薩摩藩の金蔵に250万両の蓄えが出来る程にまで財政が回復しました。
やがて、斉興の後継を巡る島津斉彬と島津久光による争いがお家騒動に発展すると、広郷は斉興と久光派に与します。
聡明でしたが、先代の島津重豪に似た蘭学を好む島津斉彬が藩主になることで再び財政が悪化するのを懸念していたためでした。
島津斉彬は德川幕府の老中 阿部正弘らと協力し、薩摩藩の密貿易に関する情報を幕府に流し、父の島津斉興、調所広郷らの失脚を図ります。
1848年に調所広郷が江戸に出仕した際、老中 阿部正弘に密貿易の件を糾問されます。
そして薩摩藩上屋敷芝藩邸にて急死しました。
享年73歳でした。
死因は責任追及が島津斉興にまで及ぶのを防ごうとした服毒自殺とも言われいます。
死後、調所広郷の遺族は島津斉彬によって家禄と屋敷を召し上げられ、家格も下げられました。
しかし、幕末に薩摩藩が活躍できたのは調所広郷が財政再建をして、その資金を作っていたからです。
調所広郷は、無為なお人好しではなく、有為な才人であり、そのため味方だけでなく敵もいました。