江川家は、平安末期に奈良から伊豆にやって来ました。以下は、ボランティアの方の説明から、はっきりしない点は不明とした解説です。
江川家は、源家につながる名家だそうです。代々、当主は太郎左衛門を名乗ります。
代々世襲の奉行として、伊豆、相模、武蔵など３万石くらい（５万石とも江戸末期には26万石との説あり）の土地を管理していたそうですから、ちょっとした大名と同じだそうです。ただし、代官のため、収めれた米は、すべて幕府のものです。
なぜ江川家が優遇されたかというと、一族に中に豊臣秀吉の北条攻めの時に、徳川家康イコール豊臣についたものがいた、家康にも見染められた農家出身の側室、お万の方が、江川の養女となって家康に嫁いだ、などの理由だそうです。
北条攻めの際には、一族には、北条家についた者もいて、その点、一族の興亡を先々まで考えた真田家と同じことをしたようです。
また、お万の方というのは、複数いますが、どの人かは、はっきりしません。紀州・頼宣、水戸・頼房を産んだ女性（養珠院）が、三島で家康の給仕に出た時に見染められたとインターネットにありますので、この人かと思われますが、実父、養父にも諸説があって、はっきりしません。
世襲の奉行というのは、多少あったようで、伏見奉行は、小堀遠州が有名な小堀家の世襲ですが、小堀家は江戸後期に苛斂誅求な年貢の取り立てで一揆がおきて、処分されているはずです。
江川家で一番有名なのは、３６代目の英龍で、蘭学者、洋学者、洋兵家です。韮山の反射炉建設でも有名です。江川家は今でもあり、子孫は大会社の役員や大学教授をされているとのことです。
参考サイト
http://ja.wikipedia.org/wiki/%E6%B1%9F%E5%B7%9D%E5%A4%AA%E9%83%8E%E5%B7%A6%E8%A1%9B%E9%96%80