解説
(a)：設問に記載されている$\dot{I}_G=\frac{\dot{V}_{ab}}{\dot{Z}_{ab}+R_G}$の形を見たら、「テブナンの定理だな」と気付くように訓練して欲しい。
テブナンの定理①の通り、複雑な回路網の中での、ある端子間の抵抗に流れる電流を求める際に使うのがテブナンの定理であり、端子間の電圧がE、回路網の中の電圧源を全て短絡し、電流源は全て開放した時の端子間から見た回路網の抵抗をZとすると、端子間の抵抗Rに流れる電流は$I＝\frac{E}{Z+R}$である。これを辿っているのが設問であり、
端子a－b間の電圧は図の通り、R相の電圧であるので$\dot{V}_{ab}=\dot{E}_R$
端子a－b間から見た回路網のインピーダンスは、変圧器の電圧源を全て短絡して下図のように考えられる。
更に分かりやすく変形すると下図のようになる。
これは、コンデンサC[F]を３つ並列接続した回路であり、並列接続したコンデンサの合成容量は静電容量④の通り、足し算なので、3C[F]となる。また、リアクタンス①の通り、角周波数ω[rad/s]の回路でC[F]のコンデンサにおけるリアクタンスは$\frac{1}{jωC}$であるので、今回の3C[F]におけるリアクタンス、つまりインピーダンスは、
$\dot{Z}_{ab}$＝$\frac{1}{j3ωC}$である。
ゆえに、テブナンの定理に従い、流れる電流は
$\dot{I}_G=\frac{\dot{V}_{ab}}{\dot{Z}_{ab}+R_G}=\frac{\dot{E}_R}{\frac{1}{j3ωC}+R_G}=\frac{j3ωC\dot{E}_R}{1+j3ωCR_G}$
である。したがって、正解は（１）
(b)：地絡点から逆追いすると分かりやすく、抵抗$R_G$に$\dot{I}_G$の電流が流れているので、R相は地絡点より$R_G$$\dot{I}_G$[V]だけ電位が高く、また、中性点OはR相より相電圧である$\dot{E}_R$[V]だけ電位が低いので、地絡点、つまり接地点からみた中性点Oの電位は、
$\dot{V}_O$＝$R_G$$\dot{I}_G-\dot{E}_R$[V]
であり、これに先程(a)で求めた$\dot{I}_G=\frac{j3ωC\dot{E}_R}{1+j3ωCR_G}$を代入して、
$\dot{V}_O＝R_G\frac{j3ωC\dot{E}_R}{1+j3ωCR_G}-\dot{E}_R=\frac{j3ωCR_G\dot{E}_R}{1+j3ωCR_G}-\dot{E}_R$$=\frac{j3ωCR_G\dot{E}_R-(\dot{E}_R+j3ωCR_G\dot{E}_R)}{1+j3ωCR_G}=\frac{-\dot{E}_R}{1+j3ωCR_G}$[V]
となる。したがって、正解は（１）