ドキュメントをちゃんと読んでなかったのが失敗した。
PythonHandler trac.web.modpython_frontend
としたら mod_python で動作した。
サーバが貧弱なので mod_python なしだとあまりに重すぎてつらかったけど、 mod_python ありだと割と普通に使えるくらいのスピード。