リダイレクト設定したら403エラー（Forbidden）になってしまうので、色々調べてたら、リダイレクト設定の前に、下記を指定すれば解決という記事がたくさんヒットするも、それでも解決しなかった。
Options +FollowSymlinks
代わりに、下記を指定したら解決したのでメモしておく。
Options +SymLinksIfOwnerMatch
続けてリダイレクト設定の仕方はこう。
RewriteEngine on RewriteBase / RewriteRule ^old.html$ https://www.site.jp.jp/new/ [R=301,L]
あと、アンカーに飛ばしたい時は NE をつけると良い。
RewriteRule ^section.html$ https://www.site.jp/new/#section [R=301,NE,L]