Instalar Rust en Windows tiene su complicación, ya que existen 2 "toolchains": el GNU toolchain (open source) y él MSVC toolchain aka: Microsoft Visual C++. El por defecto para windows es el MSVC.
Al instalar Rust según la pagina, se descarga rustup-init.exe y este nos informa que necesita el toolchain de MSVC, pero para instalarlo no nos ayuda en nada. Y cómo instalarlo es un lio, ya que implica instalar todo Visual Studio (que es enorme), o saber que opciones elegir de los Build Tools de MS, es fácil perder tiempo hasta lograr dar con las opciones correctas.
Hay una forma mas simple si usamos https://chocolatey.org/install. Una vez tengamos instalado este package manager, solo tenemos que hacer:
choco install visualstudio2019-workload-vctools, llvm
para instalar el toolchain y el LLVM (opcional, que se requiere para compilar algunas dependencias populares en el ecosistema de Rust).
Una vez hecho, descargamos rustup-init.exe y listo!
P.D: En chocolatey esta para instalar rust, pero queda "incompleto" ya que no instala rustup y en la info del paquete quien lo mantenía ha dicho que no seguirá haciendolo, igual usando el método oficial es mejor.