Как правильно писать «по разному» или «по-разному»?

Написание данного слова зависит от того, какой частью речи оно является.

Прилагательные с предлогами пишутся раздельно.
"Каждый взял по разному карандашу." - В данном случае слово является прилагательным с предлогом и пишется раздельно.


"Все отвечали на вопросы по-разному." - В данном случае слово является наречием и пишется через дефис по правилу написания таких наречий.

А правило это формулируется следующим образом. Через дефис пишутся наречия:
1) имеющие приставку кое- и суффиксы -то, -либо, -нибудь. Например, кое-как, как-то, куда-нибудь, откуда-то;

2) если наречия имеют приставку по- и оканчиваются на -ому (-ему), -ки, -ьи. Например, по-иному, по-твоему, давай поделим по-товарищески, по-волчьи выть;

3) если наречия образованы от порядковых числительных, которые имеют приставку в- (во-) и суффикс -ых (-их). Например, во-вторых, в-третьих;

4) если наречия образованы повторением основы одного и того же слова. Например, ехать еле-еле, мало-помалу, нежданно-негаданно, точь-в-точь.