2つのベクトルに垂直なベクトルpを求める問題ですね。 「内積が0」⇔「2つのベクトルが垂直」 は、ベクトルの問題で頻出のポイントです。必ず覚えるようにしましょう。

求めたいのは大きさが√6のベクトルpの成分です。この問題のように 成分のわからないベクトルに関しては(ベクトルp)=(x,y,z)と自分でおく のがポイントです。条件を使って x,y,zの連立方程式 を作れば答えは求まります。

では、実際に解いていきましょう。
(ベクトルa)=(2,0,-1),(ベクトルb)=(1,3,-2),(ベクトルp)=(x,y,z)です。ベクトルaとベクトルpは垂直なので、 内積が0 。
(ベクトルa・p)=2x-z=0
つまり、 z=2x となります。

同様に。ベクトルbとベクトルpは垂直なので、 内積が0 。
(ベクトルb・p)=x+3y-2z=0
z=2xを代入すると、x+3y-4x=0つまり y=x となります。

ベクトルP=(x,x,2x) と表すことができましたね。問題文にはまだ使っていない条件があります。そう、ベクトルPの大きさは√6なので、
√(x²+x²+4x²)=√6
6x²=6よりx=±1です。

つまり、(ベクトルp)=(1,1,2),(-1,-1,-2)となります。