Где новый тред о Nekograbber'e?
А что, старый уже в бамплимите? Я даже не заметил. Там оказывается кто-то постил, а я думал, что его просто никто не бампает, потому, что никто про него уже не вспоминает здесь, лол. Пусть будет здесь, што. Старый был тут (каким-то образом уже 2й раз в бамплимите): http://410chan.org/dev/res/6278.html
Не бампают, т.к. всё работает :3 Я вот периодически пользуюсь для скачивания с бехоими :3 Спасибо кодер-куну!
>>12470 Как же работает, когда >>12466 >с сейги вообще не качает, пишет, что не может определить расширение файла для каждой ссылки Да и вопрос по поводу эффективных методик поиска по пиксиву остается. Пока решил его добавлением в минус всех остальных персонажей из этого же аниме, но в выдаче все равно много лишнего. Ну это ладно, вы с сейгой помогите. Других качалок для нее вообще не нашел.
>>12471 Аккаунт есть на сейге? Там без регистрации ничего не скачать вроде. А на пиксиве всегда была беда с тегами, есличо. А не как на гелбооре: каждая ягодица и сайдбуб протегированы.
>>12472 Добавлю, что на пиксиве очень много не слишком качественного контента. Так что результат в 20к возможно корректен. Это на гелбору постят уже более или менее отборный контент.
>>12473 Да, на пиксиве нужно все глазами фильтровать. Желательно вообще следить за авторами, а не тупо сканить по тегам. В общем, японский девиантарт.
>>12473 >>12474 Ну это я заметил. Аккаунт есть, данные вроде ввел, во всяком случае на невозможность логина программа не жалуется. Но получается пикрелейтед.
>>12475 Как ж мне эту строку тегов для проверки вводить...
>>12477 Да от тега тут не зависит. Ну попробуй 如月千早.
>>12475 По этим ссылкам выдаётся http 302 с нужным локейшоном, а не сама картинка. Так что может причина в этом. не кодер-кун
>>12479 Вижу, были даже мысли накодить что-нибудь на яваскрипте, что бы принимало на входе список ссылок с 302 и вытаскивало оттуда список ссылок на картинки, но граббер не сохраняет список без загрузки картинок. В удобочитаемом формате, по крайней мере.
>>12480 Неужели? Вроде список можно сохранить еще до загрузки во вполне читаемый текстовый файл, который можно скормить вгету. А вгет кстати должен уметь ходить по редиректам.
>>12481 Ну вот загрузил я список ссылок (вернее прервал загрузку до ее окончания, а то долго ради теста ждать), сколько-то ссылок в списке появилось. Жму "Сохранить список", на выбор или в NKP, или CSV. NKP формат не текстовый, прочитать его только эта же программа может. В CSV пустой файл получается.
>>12483 У меня версия 1.0.7.33 отлично сохраняет в txt, хотя там в списке сайтов сейги нет.
>>12483 Потому, что лень, и вообще.
>>12487 При полной загрузке списка результат тот же. >>12481 В вгете я не шарю, но сомневаюсь, что поможет, с этих ссылок перенаправление не на саму картинку, а на страницу, содержащую ее. Я, конечно, могу воспользоваться UrlHelper'ом, чтобы получить список всех ссылок, по которым пыталась пройти программа, но что дальше с ним делать не знаю, сейга не отдаст картинки без логина, а логин только в браузере или граббере.
>>12488 И авторизация там через логин-ресурс с премудростями, джа.
Поправил сейгу. Там приделали редирект на страницу с пикчей, вместо старой (почти)прямой ссылки на саму пикчу.
>>12483 В csv выгружаются только уже сохраненные изображения (путь, где сохранено, md5 и тэги. Т.е. в файле ссылок нет). Впоследствии планировалось дописать и кастомную выгрузку (сам настраиваешь, какие поля выгрузить), но не дошло.
>>12488 >сейга не отдаст картинки без логина Очевидно, что вгету нужно скормить куки браузера после логина. >В вгете я не шарю, но сомневаюсь, что поможет, с этих ссылок перенаправление не на саму картинку, а на страницу, содержащую ее. Я тоже не шарю, но уверен, что при правильных аргументах для него это не проблема.
>>12493 Пытался я скормить, не осилил. Домены разные, непонятно чьи куки давать, непонятно откуда их брать. >>12490 Спасибо, все работает.
фураффинити умер. качает только пустышки в 5кб кодер-кун почини пожалуйста
проект мертв?
>>12768 Жив, на фурфагах свет клином не сошелся.
С санкаки вебмки не тянутся.
>>12778 кто фурфаг ты фурфаг ёптублят
есть кто живой?
анончик, ну не работает чертов фа уже год. через сотни прокси не авторизирует и не качает
>>12948 Что есть "фа"?
Вас здесь мать вашу сидят сотни хацкеров!Карл,сотни!И никто не может сделать подобную или оживить эту прогу? Миллионам аноном нужен граббер картинок!Сделайте,прошу вас,сделайте эту прогу.
>>13060 Что оживлять-то, все работает же. Фурфаги не нужны.
Не качает с Яндере. Что с этим делать?
>>13101 Поправить конфиг, чтобы ходил туда по http, а не https.
>>12467 Скачал апдейтером свежайшую версию. Ну и как мне его открывать теперь? Качаю старой версией теперь. fcha:windows
>>13101 https://yande.re/forum/show/22385 Придется просто ждать пока сертификат починят. В браузерах можно просто вырубить проверку "отзыва" сертификата, но в проге поддержка SSL идет из коробки с компонентом, обеспечивающим соединение, и вариантов настройки в нем нет. Я попробую поковырять исходники компонента, но обещать ничего не могу (многие наверное уже успели заметить, что я вообще в рид-онли).
>>13113 Обычно, SSL либа конфигуряется (на уровне ОС). Можно заставить ее игнорировать ошибки в сертификатах.
Тут бред оказался совершенно другого уровня. Точь в точь одинаковый кусок кода работает в тестовом, голом приложении, но не работает в граббере. С такими же, не модифицированными компонентами. Геморрой///
>>13120 Проблема оказалась в библиотеках, которые шли с граббером. Заменил библиотеки - все заработало (повредились или устарели? хз) Чтобы граббер обновился надо стереть строчку в файле settings.ini (Graber2.exe=xxx в секции [update]) или стереть settings.ini целиком.
Gelbooru хандрит. Говорю ему любой тэг, а он даже не пытается искать судя по всему, сразу пустой список выкатывает. Алсо девиант так и ругался на SSL, хотя и >>13121 пробовал, и вообще удалить с унля всё скачать-обновить пробовал. Скачал руками отдельно openssl и заменил, тогда заработало. И как всегда спасибо.
>>13288 Проблема в компоненте. Слишком много перепиливать, лень пока.
Эмм. Gelbooru folks похоже внедрили защиту от хотлинкинга: чтобы картинка открылась по прямой ссылке теперь нужно посылать правильный Referer. Это на случай если уважаемый автор программы ещё не знает.
Как сделать чтобы галереи с е-хентая качаль каждая в свою отдельную папку с названием? $album$ не работает.
Извиняюсь, разобрался. Нужно %album%
ПОСТ
Что-то не работает скачка пулов (когда Source: Pool ID). Совсем. На Gelbooru - составляет лист thumbnail'ов, вместо картинок. На Sankaku - 22:59:48 Could not convert variant of type (OleStr) into type (Double) 22:59:48 Access violation at address 009A87F0 in module 'graber2.exe'. Read of address 00000080
キタ━━━(゚∀゚)━━━!!
>>13538 Обновление было еще неделю назад, баааака.
>>13541 И правда, спасибо.
Программа еще жива? Если нет, то какие альтернативы? Нужно таскать буры, rule34 и furaffinity по тегу с именем художника.
>>14017 >furaffinity по тегу с именем художника @keywords tags @lower username см. халп по продвинотому поиску >rule34 надо фиксить скрипт.
>>14017 paheal вроде нормально работает. Или ты другой имел ввиду?
>>14017 Не нужны.
автор, молю, можешь реализовать фичу? хочу вставить ссылку типа http://www.фурафинити/watchlist/by/x/ (где вместо х имя) и получить список gallery+scraps *авторов на которых я/х-пользователь подписан* ну ОЧЕНЬ прошу, нереально полезная фича и сократит тысячи часов. а для тебя, мне кажется, обычная поправка парсинга ссылок займет не больше 5 минут либо возможность красть сразу gallery+scraps. в любом случае - спасибо за софт и его поддержку, однозначно 10 из 10
>>14033 Не, на много больше 5 минут. Вот надо ж реквесты в пятницу вечером делать, а. Надеюсь, за неделю у тебя там ничего не испортится? я правки делаю в качестве "перекура" в рабочее время
>>14034 Я подожду, конечно, главное не забей и скажи когда готово будет. А то я уже три года никак не возьмусь посмотреть да посортировать - все дела да дела. Года два назад зашел - не качало вообще, потом заблочили к хуям ФА роскомпозор умрите суки, сейчас вот, где-то неделю назад или две, программа вообще не обновлялась - я уже было подумал что сдохла и забили на нее, как это обычно бывает. Вообще, приятно, что хоть кто-то обновляет свой софт и оказывает по нему саппорт (из грабберов/самопала). За это спасибо еще раз :3
>>14035 Поддержкой, пожалуй, и ограничиваемся. Ничего нового давно уже не делается. Щито поделать, когда я начинал проект в моей жизни был дефицит этого дела. а теперь я это целыми днями делаю, иногда даже в отпуск убежать хочется
>>14035 Обновил граббер. Вроде бы удалось реализовать фичу без лишних лишений. Правда, галереи и черновики все равно раздельно.
>>14053 Ооо, плакали мои выходные. Спасибо, сейчас заценим, как раз времечко есть. PS что за автор у твоей пикчи?
>>14053 Автора увидел. У меня прокси не работает - посмотри, все ли в порядке?
>>14055 Без прокси не смог бы проверить. И в работе с прокси не могло ничего могло поменяться, потому что exe файл не обновлялся же.
>>14056 Блин, втф. Ты special settings настраиваешь при добавлении? Моя живая точно, сегодня проверял через браузер. Выдает "can not get url for picture", т.е. она не цепляется
>>14057 На настройки ей тоже пофиг, использовать прокси везде стоит "всегда"
>>14058 С других ресурсов кстати качает, на фа вот не может получить прямой линк на изображение
>>14059 Качал из галерей. Все ОК (пруфпик). Попробуй подобрать другой прокси (я пользуюсь google: hideme proxy list). Иногда возникает ошибка 503, но она связана со слишком поспешной скачкой, нужно уменьшить кол-во потоков.
>>14060 Упс, забыл пик.
>>14060 У меня своя прокси же, платная, только что проверил в браузере - все работает. Кол-во потоков у меня 1, я не тороплюсь, лишь бы все скачал без блокировки и ошибок
>>14062 Пикрелейтед. Выдает сплошные ошибки, через браузер все открывает. Где-то в настройках наверное проблема, но я не пойму где - все трижды перепроверил
>>14062 Так попробуй через другую =_= Я ж не на том же компе перепроверял. Первый тест там, где разработкой занимался. Второй раз на домашнем, где как у всех обновление качается из и-нета. Точно так же подобрал рандомный прокси, и все. Думал мб проблема в разнице авторизованного шаблона, но нет, авторизация тут тоже ни при чем.
>>14064 Лучше бы мне скрин с ошибками скинул же.
>>14063 Алсо искать нужно в вотчлисте, а не в галерее.
>>14065 Ну не знаю, попробовал другие и не работает. Хотя прокси-чекер валидность подтвердил. Скрин с ошибками где? Лог в нижней консоли скуден: 21:24:55 http://www.furaffinity.net/view/12661291: can not get url for picture И так со всеми остальными >Алсо искать нужно в вотчлисте, а не в галерее. Я проверяю еще, пока что нет смысла собирать линки со всех вотчеров если я не могу скачать же
>>14067 ХЗ как это понимать, десять прокси уже наверное проверил
>>14069 Ну не воспроизводится хоть убейся. Перекачал exe-шник и скрипт. Пробовал качать тэг со скрина. Я использую обычный HTTP прокси (без S, не SOCKS). Попробуй проделать то же самое. Если можешь попробуй с другой машины. Я тестировал под W7 и W10.
>>14070 Не пашет короче, не знаю на что ругаться. Софт у тебя работает, прокся тоже рабочая, брандмауэр не мешает, чудеса какие то
>>14071 Ты авторизуешься когда качаешь? На правах бреда: в настройках профиля на сайте есть возможность менять внешний вид сайта, и при смене внешнего вида может меняться стандартный шаблон. Можешь попробовать включить режим логирования в настройках (нужно включать каждый раз при запуске), и логи скинуть мне (из папки logs в папке программы). Я мог бы попробовать определить проблему.
>>14070 Может, сделать сохранение всех url в txt тогда? Попробую их через какой-нибудь даунлодер прогнать
>>14072 Хахаха! Ты не поверишь но вот только минуту назад вспомнил, попробовал и увидел твой пост, в этом и была проблема! Сука! Я целый день просрал в попытке понять в чем проблема. Ведь еще пару лет назад когда писали приложение для телефона (клиент ФА) и я с этой херней парился и пришлось списываться с их админами, мол, что за херня творится. А в итоге это все из-за этого поганого лейаута нового!
>>14072 Ладненько, пойду закину сеть да погляжу что утром скажет. Надеюсь все пучком будет, спасибо еще раз за эту фичу :3
у меня у одного фа не работает и wildcritters ws?
Как дела?
Рандомный бамп или что-то конкретное хотел узнать?
>>14690 Отстань.
В последнее время с фа качает какие то рандомные арты. У автора картинок 300 находит только 120. Посмотри пожалуйста все ли в порядке?
>>15225 Почему то не проходит авторизация. Вроде прошла наконец то, но теперь зависает на progress и пишет "Read timed out." Не качает ничего через прокси, через браузер эта же прокси - работает
>>15227 если выключить фул секюрити мод который они сделали в недавней обновке на сайте то выдает "HTTP/1.1 302" и так же не качает. Что делать, как быть? Раз в полгода захожу и вечно какая нибудь да фигня случается =(
Как раз из-за всего этого геморроя с проксями, фиксить все эти ресурсы стало очень не удобно. Тратишь больше времени на поиск рабочей прокси чем на поиск проблемы, и за частую попадаются очень тормозные прокси. Отсюда такое большое желание вообще их фиксить.
>>15230 Стив, почини плизки. Есть сервис который позволяет прокси чекнуть (живая-мертвая), я обычно hideme ру proxy-checker/ пользуюсь - зависимость есть, брат жив, все за секунды проверяется автоматом
>>15230 VPNGate.net/Softether VPN спасёт отца некограббера.
>>15230 Как там дела, Стив? Или ты больше не поддерживаешь проект?
>>15364 Поддерживал проект в свободное рабочее время. Это было легко пока в одном кабинете сидело 4 тела, уходящих в 6 вечера, а я работал до 8ми. Теперь в одном кабинете сидит 40 тел, и с NSFW (сюда в ходят аниме и фури целиком, не только 18+) ресурсами стало на много сложнее работать. Так что теперь нужно ловить вдохновение на разворачивание проекта обратно дома.
>>15367 И все же я надеюсь ты это починишь. Ни одно другое приложение-расширение не работает а в ручную таким заниматься дело неблагородное...и с наступающим!
>>15368 И pixiv что ли тоже не работает? Пичалька. У меня авторизацию даже не проходит =(
>>15367 так NSFW и не нужно, все хорошо сложилось же
>>15405 Могу попытаться угадать: у тебя не русский IP? В некоторых ресурсах теперь людям подпихивают whitecube.
>>15418 >в некоторых ресурсах регионах.
>>15418 Я специально для этого проксю купил, даже две, и в итоге соснул блин. А рюски айпи у меня "заблочен" сраным росхуйлопозором
>>15367 Стив, ты ведь еще починишь ресурсы, да? Я подожду конечно если надо, просто хочется знать что проект жив
>>15428 А еще wildcritters нет переименовали в veebooru ком и он теперь тоже поломан
По всей видимости на граббер положили хуй.
>>15635 До сих пор никому кроме разраба и небыло дела.
>>15636 Ничоси, тут его годами обсуждают.
>>15637 Совок тоже регулярно обсуждают, только его уже нету давно. В общем, не важно.
Потестил ФА, все норм логинится и качается с первого раза. Имена авторов никто не удосужился озвучить, так что взял рандомного с NSFW (не видно без авторизации), получил полный список и скачал. (у меня он на данный момент почему-то больше не блочится РКН, ЛОЛ) Что-то починил в пиксиве. whitecube куда-то подевался, или мой аккаунт, где он раньше работал, теперь поломался. Так что хз, починилось ли для всех. Пис (на следующие пол года?)
>>15707 Спасибо, Стив! С ФА сняли бан видимо поэтому качать стало, остальное не знаю даже но вроде работает, добра
>>15707 Круто!
>>15707 Стив, а где-то можно увидеть лог пикчей которые не сохранились? Если например попалась сломанная ссылка (ФА) или вместо jpg там jpEg, или mp3? >>15719-кун
>>15742 Если возникла ошибка, она попадает в лог ошибок. Все пикчи с ошибками остаются с галочками, со всех скачанных галочка снимается. И в ФА он не подбирает расширение, а берет прямой путь с ссылки download на странице пикчи.
Автор, давно хотел сказать, спасибо тебе за граббер, пользуюсь им регулярно, не знаю, что бы без него делал. Маленькая просьба пофиксить спелл во фразе "cheking for updates". И еще раз огромное спасибо.
>>15745 Понял, спасибо
>>15752 >"cheking for updates". упс, пруфридинг подкачал.
>>15757 Спасибо!
Думал скачать с гельбору Мику да вот только почему то из 73к находит только 53к, не то чтобы мне мало но почему так? Как то можно все 73 утащить?
>>16334 ну так что там, оп опять исчез на год?
>>16334 посчитай пикчи на страницах, покажи, что разница есть на самом деле, а не просто на сайте написано, что там картинок больше, что как правило и бывает в при таких ситуациях, тогда мб что-нибудь и случится
>>16405 А вы, собственно, кто?
>>16406
>>16408 Просто мне кажется что оп-у будет легче диагностировать данную проблему чем мне пересчитывать все картинки вручную. А может он и вовсе в курсе и это невозможно, тогда он так и скажет прямо. В последнем я правда сомневаюсь немного потому что спарсить все имаги в 1 тхт по моему не проблема, если их выдает сайт то и грабер их получить тоже может.
>>16409 ОПу не будет проще. ОПу придется делать то же самое вместо тебя. Он пойдет на их сайт и будет выяснять, а показывает ли вообще этот сайт больше картинок, чем качает граббер. Это известная проблема, и в 9/10 случаев из проблема на стороне сайта.
>>16410 Да и ты, наверное, имеешь ввиду не ОПа, а разраба, этот тред не разраб создал.
Не может с пиксива галереи (manga mode) скачивать, почему-то. Посмотри что там, пожалуйста.
А можно tumblr добавить? Кто нибудь знает хороший граббер тумбы?
>>16477 или inkbunny, там только в настройках надо включить api-взаимодействие. по тумбе никто не знает хорошего граббера который работает?
Я так понимаю граббер мертв? как и тред
>>16477 >>16500 А как то можно с автором связаться? Было бы здорово если бы он тумблер добавил ну и инкбанни например, а то до сих пор ни одного нормального граббера не нашел кроме этого и ставить кучу хрен знает что от васянов не хочется
>>16568 Не знаю проверяет ли он этот тред, но тут https://github.com/catgirlfighter/nekopaw должен быть.
>>16570 спасибо! но чёт не могу найти там мыло или другие контакты. только на форуме что ли писать получается?
>>16568 > ставить кучу хрен знает что от васянов не хочется Што. Ищи по гитхабу, читай исходники и ставь.
>>14033 слоупок на связи Автор, спасибо что реализовал эту фичу! От такого гемора меня (думаю и не только меня) избавил, ну просто душечка! Еще одну маленькую просьбу-дополнение хочется попросить, правда, сделай так чтобы не в 1 папку качало а в зависимости от имени страницы (автора). Только руки дошли а там столько всего качает и все это в 1 папку! Надеюсь ты еще фиксишь граббер. Спасибо еще раз за реализацию и за софтину :3
C пиксива не качает по автору, пустой список, ошибок нет.
>>16596 1) Пройди регистрацию на Гитхабе. 2) Пиши в подраздел https://github.com/catgirlfighter/nekopaw/issues (но только вежливо и только про тѣ проблемы, про которыя никто до тебя не сообщил ещё — чтобы не плодить ни ругани, ни дублей).
>>20930 Там же написано, что автор Беню ещё год назад сыграл, какие issues?
- wahaba + wakaba 3.0.9 + futaba + futallaby -