Não acho não, eu sou programador e músico (nas horas vagas, claro) 
Eu acho que as pessoas pensam que programador é aquele cara que vive na frente do PC 24 horas por dia (não dá tudo isso, mas chega perto :shock: ) e que não faz mais nada na vida. Eu conheço muito programador que trabalha “direitinho” com Flash e Photoshop, só não trabalha melhor porque eles realmente não tem como levar as duas coisas, que são áreas que exigem muito do profissional, com uma reciclagem praticamente eterna.
Eu acredito que, como já disseram, se você quiser ser os dois, não vai fazer nada direito, mas não custa nada dar uma olhadinha em algumas coisas básicas, como teoria das cores, um pouquinho de publicidade, comunicação visual e, como o Phillip já disse, usabilidade.
Todo programador deveria dedicar um tempinho dos seus estudos de programação pra aprender usabilidade, é por isso que o Google é o que é, os cérebros de lá não se preocupam só com o programa não, se preocupam com quem vai usar aquele programa!