FMFan PDF Librarian Beta

Автор SerEga, 08 марта 2025, 23:14:57

« назад - далее »

SerEga

FMFan PDF Librarian Beta


Если вы ведете историю на нашем форуме или просто любите читать работы других пользователей, то у меня для вас новость. FMFan PDF Librarian Beta – инструмент для конвертации форумных тем из раздела Истории Менеджеров в формат PDF.

Зачем это нужно?
После завершения истории её можно сохранить в удобном формате PDF, чтобы:
-Не бояться падения форума или потери базы данных.
-Защититься от исчезновения картинок с фотохостингов.
-Хранить полное оформление темы с всеми изображениями, ссылками и стилями так, как они выглядели в момент скачивания.
-Легко читать историю оффлайн – на телефоне, планшете или любом другом устройстве.

PDF-документы будут сохранены в защищенном хранилище, охраняемом покруче Форт Нокса.

Как пользоваться FMFan PDF Librarian Beta



После запуска программы вы увидите три основные секции:

1. Ввод данных (левая часть интерфейса)
Здесь нужно указать параметры для загрузки темы. Используйте следующий формат:

name: Название файла 
start: https://forum.fmfan.ru/index.php?topic=1234.0 
end: https://forum.fmfan.ru/index.php?topic=1234.165 

name – это то, как будет называться итоговый PDF.
start – это первая страница темы.
end – это последняя страница темы.

Можно добавить несколько тем сразу – просто разделите их пустой строкой.

После ввода нажмите "Начать скачивание", и программа пойдет гулять по страницам форума пока не доберется до финальной, после чего сохранит PDF файл с указанным именем.

2. Настройки (центр интерфейса)
Здесь вы можете:
Задать таймаут (оптимально 3-5 секунд, чтобы страница прогрузилась, но мне хватало 1 секунды).
Указать количество прокруток страницы, если история длинная (при тестах достаточно было 35 прокруток, но я задал максимум 100).
Ввести логин и пароль от форума (если история содержит изображения, которые хостятся на форуме, то проход в гостевом режиме не сработает - картинки не втянутся в документ).
Выбрать папку для сохранения PDF.
Включить или отключить фоновый режим браузера (если выключите фоновый режим, то откроется окно хрома и вы будете вынуждены наблюдать как робот ходит по страницам, прокручивает их и прочие не менее интересные действия. Пока что эта функция нужна мне для отладки - в дальнейшем отключу).

3. Лог выполнения (правая часть интерфейса)
Здесь будет отображаться статус скачивания – какие страницы загружены, были ли ошибки, где сохранён итоговый файл. Тоже нужен для отладки и в будущем или уберу полностью, или оставлю только действительно важные сообщения и оповещения.

ВАЖНО: Процесс занимает ВРЕМЯ!
Не паникуйте, если программа "Не отвечает" после запуска. Это нормально – WebDriver может слегка "подтупливать" и создавать эффект зависания. Просто подождите завершения работы приложения. Вы увидите сформированный документ или несколько в вашей целевой папке.

Почему это долго?
1) Форум не загружает всю страницу и изображения сразу – скрипт имитирует прокрутку, чтобы подгрузить весь контент.
2) Конвертация веб-страниц в PDF – это не мгновенный процесс.

Но! Для одной истории это нужно делать всего один раз, так что это терпимо.  :pirat:
И да, как я говорил выше, можно сразу обработать несколько тем – просто введите их через пустую строку в формате:

name: История 1 
start: https://forum.fmfan.ru/index.php?topic=1000.0 
end: https://forum.fmfan.ru/index.php?topic=1000.60 

name: История 2 
start: https://forum.fmfan.ru/index.php?topic=2000.0 
end: https://forum.fmfan.ru/index.php?topic=2000.150
 

Что еще в планах?
На данный момент это бета-версия, и некоторые функции еще в разработке. В планах:

1) Автообновление WebDriver Chrome – сейчас при обновлении браузера может потребоваться ручная установка новой версии драйвера. Планирую сделать автоапдейт.
2) Опция создания обложки для PDF документа – программа будет автоматически брать первое сообщение темы и делать из него обложку. Поэтому авторам, которые захотят обложку для своей истории будет рекомендовано оформлять первый пост в стиле заглавного экрана: можно использовать крупный логотип или отформатированный текст. Эта функция будет настраиваемой – можно будет включить или выключить по желанию.
3) Иногда втягиваются нежелательные элементы, например, футер. Не смертельно для Беты, но я планирую избавиться от этого артефакта.

Что еще можно улучшить?
Если у вас есть идеи по улучшению – пишите в этой теме.
Если есть идеи для фичи.
Как улучшить интерфейс.
Есть идеи по оформлению PDF или иконке приложения.

Я постараюсь реализовать, что сумею.

Скачать FMFan PDF Librarian Beta:
Cсылка на скачивание.
Обработанная программой история "Илвамаддалена. Сардиния зовет" в PDF.



Короткое видео. Я уже переделал некоторые опции, но для того, чтобы понять как работает инструмент - подойдет.
https://youtu.be/6p0s9v6dQPc?si=hx3Z8QNiVA7b880p

Попробуйте, делитесь впечатлениями и может быть сделаем жизнеспособный инструмент, который поможет сохранить истории и даже сделать их удобочитабельными оффлайн.
Тэгну администраторов, модераторов историй и пользователей, которые активно рекомендуют мне как улучшить свои повествования :)
@siborg @Nemo @Trabelsi @N1ghtW01f @Scipione @Africanus

Trabelsi

Снимаю шляпу! Это очень круто :good: Обязательно попробую чуть позже со своей португало-африканской историей. Так действительно можно сохранить истории для будущих поколений и не бояться того что хостинг ляжет, картинки исчезнут и т.д. А то сколько классных историй исчезло со старого форума...

Scipione

Я что-то рекомендовал?) обычно наоборот , почитаю твои истории и появляется желание написать что-то самому))

Респект за проект! Жаль конечно, что такой гениальной штуки не было, когда стала сыпаться fmfan/borda, но это прям новое слово в индустрии ФМ историй :good:

SerEga

Цитата: Scipione от 09 марта 2025, 00:06:05Я что-то рекомендовал?) обычно наоборот , почитаю твои истории и появляется желание написать что-то самому))

Респект за проект! Жаль конечно, что такой гениальной штуки не было, когда стала сыпаться fmfan/borda, но это прям новое слово в индустрии ФМ историй :good:

"Хорошая мысля приходит через ИКС лет" :)
Я попробовал читать с планшета - довольно удобно отображается ПДФ. С электронной книги не все скриншоты достаточно контрастны, но разобрать что к чему можно.

siborg

#4
Предложение для повышения дружественности интерфейса.
Сделать внесение исходных данных по Истории через отдельный фрейм/мастер/модальное окно, в котором начальная страница, финальная страница и название выходного файла можно вставить копипастом: типа такого
Вы не можете просматривать это вложение.
В идеале, можно при нажатии кнопки <Добавить> сделать валидацию ссылок на страницы форума, чтобы исключить неправильный копипаст.

siborg

#5
Цитата: SerEga от 08 марта 2025, 23:14:57-Легко читать историю оффлайн – на телефоне, планшете или любом другом устройстве.
Это очень крутое дело, потому что как раз без Инета что-то хочется почитать ( в паровозах-самолётах для людей, активно перемещающихся в пространстве, как я, например)... А когда есть Инет, то находится масса других соблазнов  :mosking: 

p.s. Вообще, в перспективе, это приложение можно сделать универсальным онлайн-сервисом для разных форумов/сайтов, где требуется авторизация. Потому что существующие подобные конвертеры HTML в PDF этого не умеют: они выдают страницу авторизации и всё. А если сохранить страницу на комп и её скормить конвертеру, то теряется все аттачи и css-стили.
А так, перед самолётом-паровозом, зашел на форум, конвертнул себе что хочется почитать на телефон/планшет/ноут и читай на здоровье в дороге. В подфоруме Историй можно будет в правый сайдбар блок со скриптом запилить, чтобы в пару кликов читаемую историю качнуть в PDF. Ууууу, у меня фантазия сразу попёрла.  :dance:

Так, что дерзайте, коллега, это перспективная штука.  :moil:

SerEga

#6
Отличные идеи. Пока что я делаю это для форума конкретно нашего, но тоже подумываю о масштабировании.
Сегодня я далеко не продвинулся потому что решил переделать приложение - сделать его модульным, чтобы было проще редактировать и тестировать, а то в одной простыне, где функционал авторизации сопряжен с интерфейсом это не очень удобно было делать. Пока выпилил еще несколько артефактов, но пока это не сильно заметно в результатах вывода так что Бета по ссылке - последняя доступная для тестов версия.

Какие у меня появились мысли что улучшить/добавить. Некоторые могут и не пригодиться, а некоторые я совершенно не знаю как реализовать, но все же.

1. Автоматическое создание оглавления в ПДФ, привязанное, например, к тэгу size.
2. Объединение связанных тем. Например, чтобы можно было подать несколько тем последовательно, если в отдельных темах созданы разные части истории. Не часто такое видел на форуме, впрочем.
3. Возможность  конвертировать только посты автора темы и помеченные определенным маркером. Если автор помечает сообщение определенным тегом/маркером, то чтобы только эти сообщения оставались - без комментариев других пользователей и ответов автора, когда он отвечал отдельными постами и не маркировал, что это часть истории. Тогда получим чистый текст произведения и ничего лишнего. - DONE
4. Лог заменить на прогресс бар
5. Сделать функцию запоминания последних настроек. Сохранять количество скроллов, таймаут, место сохранения, логин-пароль, чтобы не вводить в следующий раз.
6. Добавить кнопку "Создать задачу" и по нажатии всплывающее окно куда вводятся имя исходящего ПДФ, ссылка начала скана истории и конца (@siborg) - DONE
7. Превью обложки. Можно сделать быстрый скриншот после логина. Без прокручиваний и сохранения в пдф сохранять картинку, чтобы можно было посмотреть как выглядит первая страница и подредактировать при необходимости перед полным проходом и превращением в ПДФ.
8. Сейчас нужно задавать стартовую и последнюю страницу - можно переделать, чтобы проходчик делал это сам и шел до конца темы. Хотя теряется гибкость - может быть кто-то не хочет сохранять все страницы темы.
9. Титульная страница. Уже писал об этом выше, так что просто чтобы закрепить.
10. В конце концов можно будет попробовать реализовать библиотекаря через Телеграм-бота и не начал я так делать исключительно потому что никогда подобным не занимался. Но учитывая то, что я переделал сейчас программу разделив ее на модули, то будет быстрее ее трансформировать под Телеграм. Тут возникнет вопрос где хостить, но если инструмент окажется полезным, теоретически администрация может решить, что можно выделить несколько десятков мегабайт у себя.

siborg

Цитата: SerEga от 09 марта 2025, 19:49:50Сейчас нужно задавать стартовую и последнюю страницу - можно переделать, чтобы проходчик делал это сам и шел до конца темы.
Я не полностью имею представление, как скрипт шагает по страницам, но История всегда начинается с первого поста. Поэтому, если скрипт умеет вычислить первую страницу, то можно задавать только финишную.

Цитата: SerEga от 09 марта 2025, 19:49:50Тут возникнет вопрос где хостить,
Наш форум крутится в VDS под Ubuntu 22.04 на timeweb.cloud. Python там есть. Но если я правильно понял, приложению еще нужны дополнительные библиотеки. Я не уверен, что у меня получится запихнуть всё нужное и по мере необходимости обновлять. ИМХО, проще упаковать приложение в docker-контейнер и запилить в сервис Apps на том же  timeweb.cloud. Я так сделал сайт товарищу.
Минимальная конфигурация (за глаза хватит на приложение) < 1 CPU 3.3 ГГц, 1ГБ ОЗУ, 15ГБ NVMe > стоит всего 188 ₽/мес.
Очень удобная штука: указываешь свой репозиторий с Dockerfile, Apps собирает контейнер и запускает его на бесплатном служебном домене.

SerEga

Пара апдейтов. В том числе для себя, чтобы фиксировать прогресс.

Добавил в функционал формирование PDF только из авторских постов, в которых присутствует тэг size. Таким образом все сообщения других пользователей и автора, но без использования тэга будут игнорироваться.




Также убрал данные об авторе поста, которые располагаются на форуме слева от текста - этот блок лишний и теперь текст расположен на всю ширину страницы.

Примерно так выглядит авторская версия.

SerEga

Как говорил один из персонажей "Футурамы" профессор Фарнсфорт: "Хорошая новость".

Наш библиотекарь на стадии релиз-кандидата - инструмент стал более удобным, получил новые функции и стал формировать значительно улучшенные версии историй для чтения оффлайн и хранения для будущих поколений.

Что нового в релиз-кандидате.

Улучшенный интерфейс:
  • Теперь задачи добавляются через кнопку "Добавить задачу", что делает процесс удобнее.
  • Приложение получило новый логотип и иконки в интерфейсе :).





Авторская версия PDF:
Формируется только из сообщений автора темы и тех постов, которые содержат тег [size] (даже если внутри тега ничего нет). Автор может сам определить какие сообщения должны быть в "чистой" истории и отсеять комментарии читателей и свои, которые являются, например, ответами читателям.

Авторы или модераторы могут редактировать старые истории, добавляя этот тег в ключевые посты историй, чтобы они попали в финальную версию PDF.

Улучшено качество выходных PDF и для авторской, и для полной версий:
Теперь оформление читается лучше – улучшено отображение текста, ссылок и изображений.

Все еще присутствуют артефакты форума, но их становится меньше с каждой версией.

Главные недостатки, над которыми еще предстоит поработать:
  • При запуске приложение визуально зависает, но на самом деле работает в фоне.
  • Долгое время обработки файлов – процесс еще не оптимизирован до конца.



Ссылка для скачивания.

Илвамаддалена. Сардиния зовет.
- авторская версия
- полная версия

Myasotryas515

Сотни тысяч лучей благодарности автору, - о чудо, оно работает. Протестировал на вебархиве и по такому случаю выкладываю одну из старинных историй некогда любимого всеми Жмана (благо, она сохранилась в полном объёме). Теперь планы наполеоновские: выкачать многое из классики жанра старого форума и мои любимые истории. Вот только куда их выкладывать?





SerEga

Цитата: Myasotryas515 от 13 марта 2025, 11:50:17Сотни тысяч лучей благодарности автору, - о чудо, оно работает. Протестировал на вебархиве и по такому случаю выкладываю одну из старинных историй некогда любимого всеми Жмана (благо, она сохранилась в полном объёме). Теперь планы наполеоновские: выкачать многое из классики жанра старого форума и мои любимые истории. Вот только куда их выкладывать?

Супер!
Полагаю, что можно где-то на уровне Библиотеки создать сообщение, в котором в таблице будут находиться ссылки на выкачанные истории с указанием версии ФМ, названия, автора.
Далее пользователи в своих ответах на тему могут выкладывать ссылку на ПДФ-историю в своем хранилище, а админ уже втягивать эти ПДФ-истории в (назвевем его так) официальное хранилище и редактировать первое сообщение, добавляя ПДФ-историю в таблицу.
Такое официальное хранилище имеется (или же не проблема организовать), о чем в теме обсуждения результатов голосования за лучшую историю говорил @siborg

siborg

Цитата: Myasotryas515 от 13 марта 2025, 11:50:17Протестировал на вебархиве и по такому случаю выкладываю одну из старинных историй
Круто, так реально можно какую-то часть Историй вытащить из небытия. Очередной пример, как одна хорошая идея, упавшая на благодатную почву, прорастает целым букетом ( простите за высокий слог  :mosking: ).
Цитата: SerEga от 13 марта 2025, 12:51:49Вот только куда их выкладывать?
Цитата: SerEga от 13 марта 2025, 12:51:49Полагаю, что можно где-то на уровне Библиотеки создать сообщение, в котором в таблице будут находиться ссылки на выкачанные истории с указанием версии ФМ, названия, автора.
Давно сделан под такого вида цели аккаунт на MediaFire, который доступен модерам форума. Я запросил модераторов раздела Историй определиться с местоположением подфорума/темы для PDF-версий историй, и будем оформлять туда.

SerEga


Приложение FMFan PDF Librarian получило обновление. Я постарался сделать его более удобным, быстрым и стабильным. Ниже список ключевых изменений:

1. Многопоточность. Теперь приложение не зависает после запуска когда веб-драйвер работает в фоновом режиме.
2. Убрана возможность отключения фонового режима. Убрал настройку, которая позволяла отключать фоновый режим работы веб-драйвера.
3. Производительность выросла более чем в 5 раз. Благодаря оптимизации кода и улучшению алгоритмов, приложение теперь работает значительно быстрее. Например, на тесте задачи, которые на предыдущей версии обрабатывались за 6 минут, теперь завершаются за 1 минуту.
4. Убран лог. Чтобы интерфейс стал более удобным и менее перегруженным, я убрал лог из правой части окна.
5. Добавлен прогресс-бар. Теперь вы можете видеть прогресс выполнения задач. Пока что он работает по количеству задач, поэтому при одной задаче он быстро мигает. Так что я еще поработаю над его улучшением.


6. Индикатор работы в правом нижнем углу В правом нижнем углу появился индикатор, который показывает, что приложение работает. Это полезно, чтобы понять, что процесс загрузки и обработки данных идет.
7. Всплывающее окно о завершении задач После завершения всех задач, приложение покажет всплывающее окно с уведомлением.



В планах:
  • Доработка прогресс-бара для более точного отображения прогресса.
  • Улучшение обработки ошибок и уведомлений.
  • Продолжать улучшать производительность.
  • Возможность обновить приложение из блока с настройками

Скачать обновление.

Single_scouse

Выглядит как что-то, что может помочь автору не потеряться в повествовании сквозь время и посты. А так идея классная!

🡅 🡇