∵2sin^2(x)-sinxcosx-3cos^2x=0
兩邊同時除以cos²x
得：2tan²x-tanx-3=0
∴tanx=-1或tanx=3/2
∵x∈（0,π/2）,tanx>0
∴tanx=3/2
∴sinx/cosx=3/2
∴sinx=3/2*cosx代入sin²x+cos²x=1
∴9/4*cos²x+cos²x=1
∴cos²x=4/13
∵x∈（0,π/2）∴cosx=2/√13
sin(x+π/4)/(sin2x+cos2x+1)
=(sinxcosπ/4+cosxsinπ/4)/(2sinxcosx+2cos²x)
=√2/2(sinx+cosx)/[2cosx(sinx+cosx)]
=√2/4*1/cosx
=√2/4*√13/2
=√26/8