ここでは整式のことを多項式と呼ぶことにします。あと多項式の次数についてですが、1次以上は皆さんご存知の通りです。定数項のみの場合は、f(x)=0でなければ次数は0です。要するに0次式です。f(x)=0の場合はそもそも次数が定義されない、次数の概念が無いか、-∞と定義されます。高校生は0次式には0が含まれないと覚えておけばいいと思います。
さて、この問題は高校生から見れば厳ついかもしれませんが、実はTwitterで140字以内で答案を書くことができるくらいに単純な問題です。恐らく出題者は簡単な問題のつもりだったと思いますが、高校生にとっては多項式に関して深く勉強しないので難しいと思います。この問題の場合は余りと次数に注目して解きましょう。
[STEP1]
Q(x)やP(x)を面倒なのでQやPと書くことにします。これは実際に答案に書いても問題無いと思います。
まずは問題にある条件を式にしましょう:
① PはQで割り切れないので、ある多項式Gと1次以下の0でない多項式Fが存在して、
P=GQ+F
Q=ax^2 +bx +c
や、
F=ax +b
のように書きたくなるかもしれませんが、慣れた人は具体的な表現は必要になったらすれば良いのです。あとFは1次以下と書きましたが、Fは定数の場合もあることに注意しましょう。
②P^2はQで割り切れるとありますが、別に式にする必要はないです。でも慣れないうちはちゃんと式にしましょう。
ある多項式Hが存在して、
P^2 = QH
と書ける。（が答案には必要ない）
これで大丈夫です。ここまでで気をつけて欲しいのは、PやQをxを使って書いていないことです。一般論で議論することを心掛けましょう。
[STEP2]
P^2を具体的に計算しましょう:
P^2=(QG+F)^2
=(QG)^2 + 2QGF + F^2
さてP^2はQで割り切れるますが、上記の第1項と第2項はQで割り切れます。あとはF^2ですが、もしQで割り切れないならばP^2がQで割り切れることに矛盾しますので、F^2もQで割り切れることが分かります。（整数問題と似たような議論が出来ていると思えばいいです。）
[STEP3]
Fの次数を確定しましょう。[STEP2]よりF^2はQで割り切れることが分かっているので、ある多項式Hを用いて、
F^2=GH
と書けます。Fは0ではない(もし0ならばQがPで割り切れることになる)ので、Fの次数が0、即ち、Fがある実数cを用いて
F=c
と書けるか、aは0でないとして(←これ重要)、
F=ax+b
と書けることになります。勿論a=0の場合を許して、この2つを纏めても良いです。Fは1次以下で0でないので、どちらかが否定できれば、もう片方であることが確定します。Fが定数と仮定すると、
F^2 = QH ⇔ c^2 = QH
と書けますが、左辺の次数は0ですが、Hの次数が0以上ならば右辺の次数は2次以上になるので矛盾します。H=0とすると、c=0が従い、F=0となりますが、これも矛盾します（因みに多項式0の次数が-∞であることを認めればこの議論は必要ありません。)。なのでFは定数でないことが分かります。以上からF=ax+b (a≠0)と書けることが分かります。
[STEP4]
多分ここが一番難しいと思います。ここまで読んで結局Qの情報が何も得られて無いような気がするかも知れません。しかしもう勝負はついています。今Fは1次なので
F^2=(ax+b)^2
となって、F^2は2次式です。更にQも2次式で、F^2はQで割り切れるので、
F^2 = QH
と書けますが、もしHの次数が1次以上ならば右辺の次数は3次以上となり、左辺が2次式なので矛盾します。Fは0では無いので、Hの次数は0、即ちHが定数であることが分かります。よってH=d(≠0)(定数)と書けて、
F^2 = dQ ⇔ Q = F^2 / d
= (ax+b)^2 / d
となるので、方程式Q=0は(ax+b)^2=0と同値になり、確かに重解を持つことが分かります。これで証明が完了します。
何か質問や誤植、理論の誤りが有ればコメントにお願いします。模範解答は気が向いたら載せます。他に解説して欲しい問題があれば、それもコメントにお願いします。気が向いたら解説を書きます。