Это зависит от формата книги. Если формат на основе XML (fb2, ePub), то в файле обязательно прописана кодировка, иначе его не прочесть. В таких случаях кодировку поменять нельзя. Для более простых форматов (например, *.txt) кодировка нигде не указана, и FBReader пытается определить её автоматически. Но поскольку он иногда ошибается, есть возможность указать кодировку вручную.