結局、日向国飫肥藩（宮崎県）の下級藩士出身で、第１次桂内閣（１９０１年-１９０６年）の外務大臣として日英同盟の締結に功のあった小村壽太郎が全権代表に選ばれた。
小村は、身長１５０センチメートルに満たぬ小男で、当時５０歳になる直前であった。
伊藤博文もまた交渉の容易でないことをよく知っており、小村に対しては「君の帰朝の時には、他人はどうあろうとも、吾輩だけは必ず出迎えにゆく」と語り、励ましている。
対するロシア全権代表セルゲイ・ウィッテ（元蔵相）は、当時５６歳で身長180センチメートルを越す大男であった[10]。戦前は財政事情等から日露開戦に反対していたものの、かれの和平論は対日強硬派により退けられ、戦争中はロシア帝国の政権中枢より遠ざけられていた。
ロシア国内では、全権としてウィッテが最適任であることは衆目の一致するところであったが、皇帝ニコライ2世は彼を好まなかった。
ウラジーミル・ラムスドルフロシア外相は駐仏大使ネリドフを推薦したがネリドフはこれを辞退し、ムラビヨフ駐伊大使も引き受けなかったので、結局ウィッテが登用された。
ウィッテは、皇帝より「一にぎりの土地も、一ルーブルの金も日本に与えてはいけない」という厳命を受けていた。
そのためウィッテは、ポーツマス到着以来まるで戦勝国の代表のように振る舞い、ロシアは必ずしも講和を欲しておらず、いつでも戦争をつづける準備があるという姿勢をくずさなかった。
すべての戦力においてロシアより劣勢であった日本は、開戦当初より、戦争の期間を約1年に想定し、先制攻撃をおこなって戦況が優勢なうちに講和に持ち込もうとしていた。
開戦後、日本軍が連戦連勝をつづけてきたのはむしろ奇跡的ともいえたが、３月の奉天会戦の勝利以後は武器・弾薬の補給も途絶えた。
そのため、日本軍は決してロシア軍に対し決戦を挑むことなく、ひたすら講和の機会をうかがった。５月末の日本海海戦でロシアバルチック艦隊を撃滅したことは、その絶好の機会だったのである。
すでに日本はこの戦争に約１８０万の将兵を動員し、死傷者は約20万人、戦費は約２０億円に達していた。満州軍総参謀長の児玉源太郎は、１年間の戦争継続を想定した場合、さらに25万人の兵と１５億円の戦費を要するとして、続行は不可能と結論づけていた。
とくに専門的教育に年月を要する下級将校クラスが勇敢に前線を率いて戦死した結果、既にその補充は容易でなくなっていた。
一方、ロシアは、海軍は失ったもののシベリア鉄道を利用して陸軍を増強することが可能であり、新たに増援部隊が加わって、日本軍を圧倒する兵力を集めつつあった。
首席特命全権大使に選ばれた小村は、こうした複雑な事情をすべて知悉したうえで会議に臨んだ。小村の一行は１９０５年７月８日、渡米のため横浜港に向かう新橋停車場を出発したが、そのとき新橋駅には大勢の人が集まり、大歓声で万歳し、小村を盛大に見送った。小村は桂首相に対し「新橋駅頭の人気は、帰るときはまるで反対になっているでしょう」とつぶやくように告げたと伝わっている。
井上馨はこのとき、小村に対し涙を流して「君は実に気の毒な境遇にたった。いままでの名誉も今度でだいなしになるかもしれない」と語ったといわれる。
小村一行は、シアトルには７月２０日に到着し、一週間後ワシントンでルーズベルト大統領に表敬訪問をおこない、仲介を引き受けてくれたことに謝意を表明した。
児玉源太郎は、日本が講和条件として掲げた対露要求１２条のなかに賠償金の一条があることを知り、「桂の馬鹿が償金をとる気になっている」と語ったという。
日露開戦前に小村外相に「七博士意見書」を提出した七博士の代表格として知られる戸水寛人は、講和の最低条件として「償金３０億円、樺太・カムチャッカ半島・沿海州全部の割譲」を主張し、新聞もまた戸水博士の主張を挙げるなどして国民の期待感を煽り、国民もまた戦勝気分に浮かれていた。
日清戦争後の下関条約では、台湾の割譲のほか賠償金も得たため、日本国民の多くは大国ロシアならばそれに見合った賠償金を支払うことができると信じ、巷間では「３０億円」「５０億円」などの数字が一人歩きしていた。
日本国内においては、政府の思惑と国民の期待のあいだに大きな隔たりがあり、一方、日本とロシアとのあいだでは、「賠償金と領土割譲」の２条件に関して最後の最後まで議論が対立した。
ロシア全権大使ウィッテは、７月１９日、サンクト・ペテルブルクを出発し、８月２日にニューヨークに到着した。ただちに記者会見を試み、ジャーナリストに対しては愛想良く対応して、洗練された話術とユーモアにより、米国世論を巧みに味方につけていった。
ウィッテは、当初から日本の講和条件が賠償金・領土割譲を要求する厳しいものであることを想定して、そこを強調すれば米国民がロシアに対して同情心を持つようになるだろうと考えたのである。
実際に「日本は多額の賠償金を得るためには、戦争を続けることも辞さないらしい」という日本批判の報道もなされ、一部では日本は金銭のために戦争をしているのかという好ましからざる風評も現れた。
それに対して小村は、外国の新聞記者にコメントを求められた際「われわれはポーツマスへ新聞の種をつくるために来たのではない。談判をするために来たのである」とそっけなく答え、中には激怒した記者もいたという。
小村はまた、マスメディアに対し秘密主義を採ったため、現地の新聞にはロシア側が提供した情報のみが掲載されることとなった。明らかに小村はマスメディアの重要性を認識していなかった。