思いつきで、数値のbit数を増やさずに
計算精度を上げることに成功しました。

赤が前回の値。
青が今回の値。
横軸は真値に変更しました。
縦軸は前回と同じです。

平均二乗誤差は計算していませんが、
今回気にしている最大誤差は
4.5度くらいに減りました。

縦軸を計算値にしてみると
こんな感じです。
黒線はy=x。
こうしてみると
結構きれい見える。
見栄えだけですが…。

まだVHDLには起こしていませんが、
前回のsin、cosの場合、
マクロセルの消費が
120個程度だったので
今回もその程度と思われます。