（1）根據(jù)等比數(shù)列的性質(zhì)，可得a₃?a₅?a₇=a₅³=512，解之得a₅=8．
設(shè)數(shù)列{a_n}的公比為q，則a₃=

8

q2

，a₇=8q²，
由題設(shè)可得（

8

q2

-1）+（8q²-9）=2（8-3）=10
解之得q²=2或

1

2

．
∵{a_n}是遞增數(shù)列，可得q＞1，∴q²=2，得q=

2

．
因此a₅=a₁q⁴=4a₁=8，解得a₁=2；
（2）由（1）得{a_n}的通項公式為a_n=a₁?q^n-1=2×(

2

)n?1=(

2

)n+1，
∴a_n²=[(

2

)n+1]²=2ⁿ⁺¹，
可得{a_n²}是以4為首項，公比等于2的等比數(shù)列．
因此S_n=a₁²+a₂²+…+a_n²=

4(1?2n)

1?2

=2ⁿ⁺²-4．