LINUX.ORG.RU

Как бы лучше реализовать что-то типа web-archive?

 , ,


0

1

Пилю сайт, time line неких событий, где помимо всего прочего - даю embeded/скриншоты/ссылки на другие ресурсы, например на новостные агенства/сайты.

Как бы лучше реализовать что-то типа web-archive для этого, например даю ссылку на новость: http://tvrain.ru/articles/v_bashkirii_proshli_tajnye_pohorony_obezglavlennogo...

Но, сам этот сайт или кровавая гебня, могут удалить материал, а мне хотелось бы его зафиксировать, сделать fallback на случай удаления в первоисточнике.

Есть ли готовые решения для такого, кто сталкивался?

Идеально было бы размещение такой ссылки (fallback ссылки) в виде:

http://mysite.com/tvrain.ru/articles/v_bashkirii_proshli_tajnye_pohorony_obezglavlennogo_soldata-374632/

т.е. оригинальная ссылка после моего домена.

Сохранение и отображение первоначального контента, как это было в первоисточнике.



Последнее исправление: VimCasts (всего исправлений: 1)

У тебя куча вариантов:

  • Давать ссылку сразу на http://web.archive.org/
  • Копировать нужные страницы или сайт целиком с помощью
    • wget -r
    • httrack
    • heritrix (по воробьям ядерной бомбой, на мало ли...)
Deleted
()
Ответ на: комментарий от aeX1pu2b

я пользуюсь git каждый день, но причем здесь git, если мне нужен не контроль версий, а узнать, как лучше архивить (скачивать wget'ом текущую страницу-контент?), как автоматизировать такой процесс.

VimCasts
() автор топика
Ответ на: комментарий от aeX1pu2b

Ё мое почитай про GIT - тот случай

При чём тут git?

Deleted
()
Ответ на: комментарий от Deleted

ну пока самое простое, это действительно wget, наверное придется писать веб-морду для этого.

httrack - слишком жирновато и нестабильно.

heritrix

не слышал, почитаю, спасибо.

VimCasts
() автор топика
Ответ на: комментарий от Deleted

Давать ссылку сразу на http://web.archive.org/

не хотелось бы зависеть от сторонних, возможно там есть процедура удаления, возможно у первоисточника есть право потребовать удалить информацию.

VimCasts
() автор топика
Ответ на: комментарий от VimCasts

не слышал, почитаю, спасибо.

Если httrack - жирновато, то это вообще.

ИМХО, тебе простого wget хватит. Просто параметры подобрать, чтобы он лишнего не качал.

Deleted
()

эээ парни сори не внимательно ТС прочитал...

aeX1pu2b
()
Ответ на: комментарий от VimCasts

Да и до этого лет 5 автор только шероховатости протирал :) Что не мешает ему до сих пор работать. По краней мере у меня.

antares0 ★★★★
()
Ответ на: комментарий от VimCasts

Живее всех живых, просто новые фичи не пилятся. Оно в своё время шикарно работало у меня на диалапе в качестве прозрачного прокси в связке с сквидом :-)

Pinkbyte ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.