저도 이부분 어쩔.....하다 발견했습니다...
안드로이드스튜디오 쓰시는 분들은 잘 아실수도 있지만 이런 문제가 자주 안일어나니 모르시는 분들을 위해 올려 봅니다.

테마를 바꾸는 방법
첫번째 이미지 처럼 테마를 변경하는 방법 입니다...

두번째는 style.xml를 바꾸는 방법 입니다.
두번째 이미지를 참고 하시면 될거 같네요.

그나저나 새 프로젝트 할때마다 적용해야 한다는게 저에겐 짜증이군요. ㅡ.ㅡ;;