双曲线右焦点坐标为(√(1/m+1/n),0)
因为直线经过双曲线右焦点,且斜率为√15/5
设直线方程为：y=√15(x-c)/5 [c=√(1/m+1/n)]
依题意：P,Q满足以下方程组：
{mx²-ny²=1 (1)
{y=√15(x-c)/5 (2)
将(2)代入(1)得
mx²-3n(x-c) ²/5=1
5mx²-3nx²+6ncx-3nc²=5
(5m-3n)x²+6ncx-(3nc²+5)=0
设s,t为一元二次方程的两个根
因为直线与双曲线有两个交点,所以5m-3n≠0
根据韦达定理得：
{s+t=-6nc/(5m-3n) (3)
{st=-(3nc²+5)/(5m-3n) (4)
因为P,Q在直线y=√15(x-c)/5 上,
所以设P(s,√15(x-c)/5)Q(t,√15(x-c)/5)
由OP垂直于OQ得：
[√15(s-c)/5]/s × [√15(t-c)/5]/t=-1
3c(s+t)-8st-3c²=0
将(3)(4)代入得
-18nc²/(5m-3n) +8(3nc²+5)/(5m-3n) -3c²=0
将c²=1/m+1/n代入得
-18n(1/m+1/n)/(5m-3n)+8[3n(1/m+1/n)+5]/(5m-3n)-3(1/m+1/n)=0
等式两边同时乘以mn得
-18n(m+n)/(5m-3n)+8(3n²+3mn+5mn)/(5m-3n)-3(m+n)=0
-18n²-18mn+24n²+64mn-3(m+n)(5m-3n)=0
6n²+46mn-3(5m²+2mn-3n²)=0
6n²+46mn-15m²-6mn+9n²=0
15n²+40mn-15m²=0
3n²+8mn-3m²=0
(3n-m)(n+3m)=0
因为m,n都大于0,所以n+3m≠0
所以3n=m
c²=1/m+1/n=1/3n+1/n=4/3n
3nc²=4
由|PQ|=4得
(s+t)²+[√15(t-c)/5-√15(s-c)/5]²=16
(s+t)²-4st-10=0
将(3)(4)代入得
[-6nc/(5m-3n) ]²+4(3nc²+5)/(5m-3n) -10=0
将3nc²=4 m=3n代入得
12*4n/(12n)²+4(4+5)/12n-10=0
1/3n+3/n=10
两边同时乘以3n
1+9=30n
n=1/3
m=1
所以双曲线方程是x²-y²/3=1