ほんとにメモ程度ですが・・・。
インストール時に勝手に作られるカテゴリ[未分類]は、そのままだと消すことができませんが、それは特別なカテゴリ設定があるわけではなく、単にデフォルトの投稿カテゴリに指定されているからで、デフォルトの投稿カテゴリを任意の別のカテゴリに設定しなおすと、他のカテゴリ同様に消すことができます。
デフォルト投稿カテゴリの設定へは以下の順番で。
設定＞投稿設定＞投稿用カテゴリーの初期設定
意外にわからなくて、僕自身ググってしまいましたので、もし他にもそういう方がいらっしゃった時の為に、メモってことで。