解：如圖，作AF⊥BC，

∵△ABC中，∠A=90°，AB=8cm，AC=6cm，

∴BC=10cm，

∴AF=

8×610

=4.8（cm），

∵MNPQ是△ABC內接矩形，

∴QP=MN，QM=PN=EF，

∴AE=4.8-QM，

又∵MQ：MN=4：5

∴MQ=

45

MN，

∴

BM×MQ2

+

NP×NC2

+MN×QM+

QP×AE2

=

8×62

，

整理得，

12

MQ（BM+NC+2MN）+

12

MN×AE=24，

12

×

45

MN（10+MN）+

12

MN（4.8-

45

MN）=24，

解得，MN=3.75（cm），

∴MQ=

45

×3.75=3（cm），

∴矩形MNPQ面積為：3.75×3=11.25（cm2）；

答：矩形MNPQ面積為：11.25（cm2）．