Судя по вашему тексту, не понятно учите ли вы свой 1 язык или учите 2-3. Если это ваш 1 язык то сразу выучить с легкостью и начать писать вредоносный код не получится. Лучше начать с чего то проще. А если это ваш не 1 язык, то попробуйте,как сказал пользователь до меня C++. Удачи в начинании)
Начать следует с C++(можно и C), далее ассемблер... Ну а после, думать в сторону OS-internals, алгоритмов, матана...