Q: This is the book what you mentioned yesterday.
関係詞(関係代名詞)の問題です。
関係代名詞のwhatは、‘先行詞+what…’という形で使うことはありません。本問では、先行詞が”the book”で、これが、関係詞節中でmentionの目的語となっていますので、”which”又は”that”が正解です(省略も可能です)。
よって、問題文は、誤り。”This is the book (which[that]) you mentioned yesterday.”(これはあなたが昨日話題にしていた本です)とすれば正しい。