Como fazer as outras divs mudarem de cor quando passo o cursor do mouse por cima?

Ao analisar esse código que você enviou, qual conclusão que você mesmo chegou, até agora?

O querySelector retorna o primeiro elemento apenas.
Você poderia usar o querySelectorAll para pegar todos os elementos, iterar por eles e ir setando a cor.

Ele apenas mudava a cor da primeira tecla ali, mas já consegui concertar o problema.

Valeu mesmo, camarada. Não sabia que existia esse comando. Funcionou bem aqui