sin,cosの差と積に関する問題ですね。
(sinθ-cosθ)を2乗して計算するのがポイントでした。

sinθcosθの値が-1/8、θの範囲が3/2π＜θ＜2πと与えられています。sinθ-cosθの値を求めましょう。

(sinθ-cosθ)²=1-2sinθcosθ に
sinθcosθ=-1/8を代入すると
(sinθ-cosθ)²=1+2(-1/8)
⇔(sinθ-cosθ)²=5/4

ここで範囲に注意！
今求まっているのは、sinθ-cosθの2乗の値ですね。
求めたいのはsinθ-cosθなので2乗を外す必要がありますが、範囲に注意しなければなりません。3/2π＜θ＜2πなので、θは 第4象限 にあります。
よって、 sinθ＜0,cosθ＞0 となります。
sinθ-cosθは負ー正 なので sinθ-cosθ＜0 とわかります。

つまり、sinθ-cosθ=-√5/2となります。