[ d ] [ b / cu / dev ] [ r ] [ a / ts ] [ ci ] [ gnx / int ] [ misc ] [ dev / stat ]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог] [Главная]

No.1088  
Соус, я случайно. Тебе нужен?
Стоит ли куда-то выкладывать награбленное или это навредит Автобусу?
Я делал для личного пользования.
https://dl.dropboxusercontent.com/u/2889114/bbbbb2.png
https://pbs.twimg.com/media/CCel-ZoWMAA3GZo.png:large
>> No.1089  
Ты что, сдампил Автобус, лол? Зачем? Ждешь, пока Соус снесет все? Он вроде собирался.
>> No.1090  
>>2
Надеюсь, что не будет сносить. Самый уютный медленный аутичный чатик здесь.
Просто я угорел по киберпанку и делаю конструкт своей личности. Собираю всё важное в один большой Git-репозиторий. Потом шаг 2 - ???. Шаг 3 - выгода.
Я сделал зеркало Автобуса, да, но там оказалось порядка 20 тысяч файлов (без src-папок). От такого Git начинает бешено лагать. Тогда я придумал вот так вот завернуть всё в архивы. И ужал до ~80 метров и ~300 файлов.
>> No.1091  
>>2
Еще один минус в том, что если обновлять 7z-архивы, это приведет к постепенному раздуванию репозитория. Так что это как разовый слепок от 20 марта 2015.
>> No.1096  
Я так и не понял, зачем оно надо.
>> No.1097  
>>5
Чтобы познать себя, познать суть социальных отношений, отношений свой-чужой, стили речи и таинственную автобусную ментальность. Это было сделано для исследований и экспериментов. У эксперимента самый важный критерий - воспроизводимость. Поэтому пришлось всё скопировать.
>> No.1117  
ОП, а можешь так же сдампить Ычан? Хотя бы /a/ и /b/. Мне очень надо.
>> No.1127  
>>7
Привет.
Спасибо за вопрос, но сам дампить не буду: думаю, это будет адски долго. Ычан же популярный. Собственно, дампил я wget'ом. А скрипт, которым разворачивается веб-приложение, могу выолжить как Gist на гитхаб.
Впрочем, я сейчас пробежался глазами, там довольно сумбурный код на ~300 строчек. Возможно, я превращу в gem, чтобы использовать было намного проще.

Вгетовую команду, думаю, ничего страшного не будет, если я прямо тут выложу. http://pastebin.com/vHdh8aVZ Там есть недостатки. По-моему, он неправильно скачивает какие-то ссылки в архиве или недокачивает картинки. Точно не помню, пару раз менял там параметры, а все недостатки исправляю в рантайме потом.
>> No.1128  
>>7
Хотя, чего стесняться. Вот скрипт в его текущем виде.
https://gist.github.com/georgy7/01ddac55ad09a5e46034
>> No.1129  
>>8
>>9
Хорошо, спасибо. Попробую запустить.
Насчёт «долго» — почему же? Вот сейчас на нулевой 10 тредов, страниц 36. Итого 360 тредов. Html скачать вообще один миг.
>> No.1130  
>>10
Не забудь проверить exclude-directories. Это самый важный список. Если не ошибаюсь, из-за того, что он не будет ничего оттуда качать, все ссылки по этим адресам будут идти на внешний интернет.
Печальная самая вещь об этом в том, что если ты неправильно запустишь wget, второй раз он тоже медленно будет работать. Еще параметр wait - я его добавил, чтобы не создавать большую нагрузку на сайт (у меня качался автобус где-то сутки или больше). Его там можно вроде ставить маленьким, но всё же, думаю, лучше ставить.
>> No.1131  
>>10
А, ну если без архива, то быстро. Не знаю, есть ли там архив.



[ d ] [ b / cu / dev ] [ r ] [ a / ts ] [ ci ] [ gnx / int ] [ misc ] [ dev / stat ]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог] [Главная]