もちろん、家にもそれなりのPC環境があって高速に会社のPCにリモート接続できるならばそれでいいでしょうし、会社から十分にパフォーマンスが高いラップトップPCを持ち帰ることができるならば問題はないと思います。
しかし、もしも家のPCを家族全員で共有していたり、手持ちのラップトップPCがWindows 7世代以前のものだったりすると、ちょっと使いにくいかと思います。
（※Windows 7はタイミングの悪いことに今年の1月でサポート終了となっていますので、セキュリティ上 使うわけにはいかないと思います。）
かといって、新しいラップトップPCを購入するとなると、どうしても最低でも５００ドル、５万円程度の出費は必要になると思います。
iOSやAndroid OSからWindows PCにリモート接続することも可能だと思いますが、スマホではいくらなんでも画面が狭すぎると思いますし、１３インチクラス以上のタブレットは普及率があまり高くないため この選択肢もあまり現実的ではないと思われます。
・・おそらく現実的には、長らく使っていなかったようなラップトップPCに無理やりWindows 10をインストールし、CortanaやOneDriveなどをはじめとするあらゆる付加サービスをDisableして、リモートデスクトップ接続専用機として使用する、というところが「今可能なこと」ことかと思われます。
しかし、ちょっとマニアックではありますが、「とても安価でしかも実際に使える」という意味ではラズパイを使ってリモートデスクトップ接続する、という方法がありそうです。
そこでちょっと検証してみました。
なお、ラズパイ（極小ワンボードPC）は、ラズパイ３ならば３０ドル ３千円台、最新のラズパイ４でも５０ドル ５千円台でAmazon等で購入可能です。
HDMIで普通に液晶ディスプレイに接続することができ（ミニHDMIから標準HDMIにコンバートする数百円の変換端子が必要ですが、ラズパイとセット販売されていることが多いと思います）、USBキーボードやマウスがそのまま使えるので、専用の外部デバイスを購入する必要はないと思います。
ラズパイを使ってリモートデスクトップ接続をする上で最も手っ取り早いのは、ラズパイの実質上標準OSとなっているRasbianに、Remminaと呼ばれるツールをインストールして接続する方法かと思います。
インストールは簡単で、Rasbian上でターミナルを起動して、以下のようなコマンドを使用してインストールできると思います。
sudo apt update
sudo apt install -y remmina
・・しかし、うちの会社の場合は簡単にはいきませんでした。
というのは、Linux（RasbianはLinuxのディストリビューションの一つです）を会社のVPNに接続するのは不可能ではないらしいですが標準的なことではないため、VPN接続の段階でアウトでした。
ところが、今では普通のWindows 10 （ARM版）を、ラズパイにインストールすることができるということを知りました。
（以前から、Windows IoTという特殊なWindowsをインストールすることはできたのですが、デスクトップ環境を持たないIoT専用OSだったため、普通にWindowsとして使うことはできませんでした）
Windows 10であれば、VPN接続やそれに必要な認証に関しても問題なくできるはずで、もちろんリモートデスクトップ接続もできると思います。
そこで今回は、以下のサイトで説明されている方法で Windows 10 Pro をインストールしてみました。
Raspberry Pi 3 で Windows 10 -その1-
手順としては、まず普通のPCを使って ARM用Windows 10のISOイメージとインストーラー、UEFIファームウェア、デバイスドライバをダウンロードし、インストーラーを使ってSDカードにWindowsインストール環境をインストールします。
（※UEFIファームウェアどデバイスドライバについては、インストール中に最新版をダウンロードするように設定するようにもできたので、あらかじめダウンロードしておかなくてもいけるようです）
ISOイメージのダウンロードおよびSDカードへのセットアップには数時間かかりましたが、インストールできました。
インストール用のSDカードができたら、それをラズパイに差して今度はラズパイ上でのインストールへと進みます。
途中以下のようなエラー（キーボードデバイスの問題？）が発生しましたが、スキップして進めたところその後も問題はありませんでした。
そして、ついにわずか３千円台だったラズパイ上で、ProエディションのWindows 10が起動しました。
もちろん、VPN接続の設定およびリモートデスクトップ接続も可能です。
ちなみにCPUは以下の通り６４ビットのARM ４コア １．５GHzとなっており、CPU自体は悪くないかと思います。
・・しかし、メモリが１GBしかないラズパイ３だったため、相当パフォーマンス的に問題があります。
OSが安定して動作している状態まで待っても、例えばスタートボタンを押してスタートメニューが表示されるまでに２０秒くらいかかるようです。
リモートデスクトップ接続した後は、もちろんホスト側のスピードに従うので使い物にはなるのですが、リモートデスクトップ接続するまでに時間がかかりすぎて、ちょっと非現実的でした。。。
しかし。
現在の最新モデルであるラズパイ４であれば、メモリ４GBというモデルもあり、なんと標準で４KのHDMI出力を２つ持っているという、もはや普通のPCとの垣根を越えるような立派なスペックを持っていることを知りました。
しかもAmazon.comなどを見る限り、アメリカでは$41、日本では5800円くらいから売られているようです。
このラズパイ４であれば、ARM版 Windows 10をインストールして、少なくともリモートデスクトップ接続専用機としては問題なく使えるのではないかと思われます。