VOICEVOX の CPU デフォルトだと搭載しているコアの1/2しか使わないので、 VV_CPU_NUM_THREADS=4 みたいにして増やすといいかもしれないです(4コア使う場合)

GitHub
voicevox_engine/run.py at master · VOICEVOX/voicevox_engine
無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXの音声合成エンジン. Contribute to VOICEVOX/voicevox_eng...