VRChat 日本wiki - アバター / ワールドのパフォーマンス改善
・とにかくマテリアルとオブジェクトとファイル数

感覚的に「分かれているもの」は基本的にCPUに負荷がかかります。
例えば、総ポリゴン数が同じでもマテリアルの種類が4つのモデルと1つのモデルでは描画コストに倍以上差が開いたりします。
それはCPUがマテリアル毎に処理の判断を行うからです。
同様に、メッシュが分割されていてもメッシュ毎に処理を行うため、これも負荷がかかる原因になります。
また、1024のテクスチャファイル4枚と2048のテクスチャ1枚では2048の1枚の方が処理が軽くなります。
ファイルを呼び出す命令が4分割されているようなものなので、テクスチャは結合されていたほうが計算しやすいです。

これは、アバター/ワールド問わず適用されるパフォーマンス改善の基本概念です。
その他は助長な表現を簡略化するテクニックになります。

・メッシュコライダーをボックスコライダーに置き換える。

階段でメッシュコライダーを使用すると凹凸のあるコライダーになり処理コストがかかります。
また、移動の際も画面がガタガタと震え見栄えもあまりよくないです。
その場合、階段のメッシュコライダーを外し、ボックスコライダーを斜めに傾けて配置する事でなめらかな見栄えになり処理も軽くなります。

・スタティック化&ベイクする