勘違いしていて、
欲しいのはsin、cosではなく
arctanでした。

右が計算の結果です。

横軸が与えたtanの値。
縦軸が計算値から真値を
引いた値です。

差が6度を越えているところがあります。

今回も予想より精度が悪くて
がっかりです。

現在、数値の取り扱いを
けちけちモードの8bitでしているので
16bitに増やすしかないみたいです。