Пилю сайт на WP + woocommerce.
Получил прайс-лист, из миллиона позиций(строк). К моему сожалению, в прайсе есть название, бренд, артикул, но нету изображений. Знал про importHTML и importXML в Google Sheets, о которых прочитал у АлаиЧа.
По сути, ничего сложного, отправить запрос в Google и получить ссылку на картинку(на первую картинку по данному запросу). Но на практике, как всегда, появились подводные камни. Вспомнил, что пару лет назад(а может и меньше) Google и Яндекс закрыли ссылки на изображения на выдаче в сервисах поиска картинок. Более того, то, что вы ведите в исходном коде страницы, и то, что вы ведите “проинспектировав” элемент – разные коды. Вот пример:
Открывая исходных код view-source:https://yandex.ru/images/search?text=asd
В Google – такая же история. Это первый нюанс. А второй заключается в том – что это не совсем ссылка на картинку. Но ссылки там все таки имеются:
Другое дело – даже их никак не подцепить. В этом момент я опять отчаялся, и решил вернуться работать с Google. но мои попытки были тщетны – там абсолютная такая же история. А потом я вспомнил, что на Яндекс и Google не заканчивается поисковые системы. Так вот, поэкспериментировав с Rambler, у меня получилось достать ссылки на картинки, пришлось написать чудную функцию в Google Sheets.
Вот план:
1. Открываем ссылку поиска картинок рамблера:
https://images.rambler.ru/search?
2. Выбираем первую картинку и видим вот такую ссылку – https://images.rambler.ru/search?query=asd&i=0
Давайте разберемся что тут:
https://images.rambler.ru/search?query= – ссылка поиска, без самого запроса. После = необходимо добавить артикул(название+артикул) или что еще вам нужно.
&i=0 – то, какую позицию выбрали. Так как в программирование расчет начинается с нуля, то первый элемент i=0
3. Не стоит забывать, что пробелы кодируются в символ %20 (Это нужно помнить, что бы правильно собрать URL). В Sheets необходимо использовать функцию SUBSTITUTE для замены какого либо символа в ячейке. В нашем случае SUBSTITUTE(“А тут та ячейка, где например название бренда или товара, в котором может быть пробел”;” “;”%20”). А так же формулу СЦЕПИТЬ, но в Sheets она CONCATENATE
4. Откроем исходный код страницы с выбранной первой картинкой – view-source:https://images.rambler.ru/search?query=asd&i=0
Тут мы видим ссылку на картинку прям в микроразметке сайта:
5. Нам необходимо получить значение атрибута content тега meta со свойством property=’og:image’.
В моем случае, итог формулы выглядит вот так: =importxml(CONCATENATE($I$1;SUBSTITUTE(A2;” “;”%20″);$H$1;B2;$H$1;SUBSTITUTE(C2;” “;”%20″);$J$1);”//meta[@property=’og:image’]/@content”)
Если коротко – тут я взял с трех ячеек значения(бренд, артикул, название) заменил пробелы, связал, сделал запрос в Rambler, и получил значение параметра content тега meta с свойством property=’og:image’ или другими словами – ссылку на первую картинку.
Огромный минус данного способа – время. Google отправляет(насколько мне известно) 100 запросов потом таймаут. Более того, таймаут ответа есть и у Рамблера. Но с другой стороны – протянул формулу до конца документа – и пусть он собирает картинки неделю, сам. Кстати, пробовал юзать PictureYandexGraber или такой же аналог только под Google, но это все не то, т.к. нужны были просто ссылки на картинки, причем в документе Exel. ( Ну давай по умничай мне тут в комментах, как ты будешь миллион документов открывать и вручную ссылку вставлять в прайс-лист).
P.S. Может я тупой, не знаю нормального быстрого способа? Расскажи мне, в комментариях, я обязательно это прочитаю, но это не точно. techcraunch.com
The post Парсинг изображений для прайс листа csv из 1кк позиций first appeared on Блог вебмастера.
Тайяб Саклен Закки, основатель и генеральный директор рекламного агентства «Click0n», опубликовал у себя в Фейсбуке кейс о том, как они увеличили для одного из своих клиентов трафик на сайте с 269 посетителей в сутки до 11,886, меньше чем за 9 месяцев. Публикую перевод.
https... 300w" sizes="(max-width: 495px) 100vw, 495px">Работать начали 23 июля 2018. Органический трафик тогда был на отметке в 269 уников.
https... 300w, https... 768w" sizes="(max-width: 1024px) 100vw, 1024px">По состоянию на 5 апреля, когда начал писаться кейс, органический трафик достиг 11,886 посетителей в сутки.
https... 300w, https... 768w" sizes="(max-width: 1024px) 100vw, 1024px">Как они добились таких результатов? Ниже вы найдёте весь процесс проведённой работы, шаг за шагом.
1. Изначально у сайта был хороший дизайн, но оптимизацией владельцы вообще не занимались. Поэтому первое, что сделала команда Тайяба – провела исследование ключевых слов, под которые можно было бы оптимизировать контент.
2. Основные ключевики оказались довольно конкурентными, для вывода их в топ потребовалось бы от 6 до 9 месяцев. Чтобы получить быстрые результаты, собрали фразы с низкой и средней конкуренцией. Оптимизировали под них контент. Пошёл первый трафик, даже без использования внешнего SEO.
3. На этом этапе они просто добавили конкурентные ключевики в мета-теги главной страницы (Title, Meta Description и Meta Keywords) и разбросали по внутренним страницам смесь из ВЧ, СЧ и НЧ.
Такая внутренняя оптимизация дала двукратный рост трафика.
https... 300w, https... 768w" sizes="(max-width: 1024px) 100vw, 1024px">4. Затем началось строительство ссылочного профиля. Запустили публикации гостевых постов, добавление статей в каталоги, и разбавили всё это ссылками из социальных сетей.
5. Потом пошло создание ссылок второго уровня, с авторитетных сайтов, на ссылки первого уровня. То есть они ставили трастовые ссылки не напрямую на свой сайт, а на те гостевые посты и статьи из каталогов, которые, в свою очередь, ссылались на продвигаемый проект.
https... 300w" sizes="(max-width: 495px) 100vw, 495px">6. Работа над созданием новых ссылок велась каждый день и сайт продолжал расти. Но в какой-то момент было достигнуто плато по трафику. Рост прекратился, что заставило команду оптимизаторов перейти к следующему пункту.
7. После анализа конкурентов оказалось, что никто из них не уделяет достаточно внимания внутреннему SEO, все заняты ссылками. И это не удивительно, так как ниша «downloading» (скачивание), тут особо не размахнёшься. Прикрутили к сайту блог. Опубликовали несколько статей с длинными хвостами низкоконкурентных запросов, имеющих при этом достаточный объём трафика. Рост возобновился.
8. Благодаря блогу органика росла, но основная проблема была всё ещё не решена. Главная стагнировала. По большинству конкурентных запросов найти сайт можно было лишь на 2-3 странице в Google. Реальная конкуренция была ещё впереди. Поэтому сеошники Тайяба прикрутили блог к главной. Это изменило всё!
https... 196w" sizes="(max-width: 368px) 100vw, 368px">9. Выше продемонстрировано, как контент блога показывался на главной. Самое интересное здесь заключается в том, что при нажатии на кнопку «Read more» («читать дальше»), контент открывался во всплывающем окне, без перехода на внутреннюю страницу блога. То есть, с точки зрения поисковых систем, контент находился на главной странице. Ни у кого из конкурентов в этой нише нет такого количества контента на главной странице.
Благодаря такому решению, органический трафик на сайте вырос до 4,000-5,000 уников в сутки. Со 2-3 страницы выдачи они влетели по всем нужным запросам в топ-5.
10. Поскольку топ-5, это не топ-1, работа продолжилась. Взялись за сниппеты. Тут на главную страницу добавили секцию вопросов и ответов, в соответствие с лучшими традициями оптимизации под блоки с ответами в Google Поиске.
Вопросы состояли из смеси коротких и длинных поисковых фраз. Практически сразу по одному из конкурентных запросов они попали в блок ответов Гугла, причём в 15 разных странах. Также они получили дополнительный трафик по множеству НЧ.
https... 300w" sizes="(max-width: 694px) 100vw, 694px">11. Дальше оптимизаторы сосредоточились над удобством сайта для пользователей, в погоне за первой позицией в Гугле.
По мнению Тайяба, UX – фактор ранжирования №1. Именно с него нужно было начинать работу. Но они им закончили. Когда-то ссылки «рулили» в Google, теперь на их место пришёл User Experience.
Чтобы повысить удобство, необходимо проанализировать поведение пользователей на сайте. Для этого использовали Вебвизор в Метрике. Результаты поразили. Оказалось, что кучу вещей можно улучшить. Люди сталкивались на сайте клиента с массой проблем в процессе использования. После исправления «косяков», был получен долгожданный топ-1 по одному из основных ключевиков.
Вся схема продвижения довольно проста:
https... 169w" sizes="(max-width: 540px) 100vw, 540px">За всё время в работе над сайтом было задействовано 4 специалиста.
Если есть какие-то вопросы и знаете английский, можете обратиться напрямую к автору оригинала в Facebook. Зовут его Tayyab Saqlain Zakki. Ну или, если хотите, спрашивайте тут в комментариях, я ему сам напишу.
Сообщение SEO-кейс: от 7,501 до 311,814 посетителей в месяц из органики Google в download-нише появились сначала на Блог SEO-аспиранта.
Итак, год назад (точнее, год и один месяц) я начал инвестировать в фондовый рынок. До этого у меня такого опыта не было, деньги на счет я не откладывал, знал только поверхностно теорию. Кто-то говорил, что смысла инвестировать небольшие суммы нет, кто-то — что на фондовом рынке большие риски и можно потерять деньги. В этом посте я хочу просуммировать свой опыт за год, что делал, какие акции покупал, какого результата добился, какие ошибки совершил и чему научился. Погнали)
Результаты основного портфеля (брокер — Альфа-Директ, система учета — IntelInvest). Как видите, даже без особого опыта, без трейдинга, в первый год — удалось получить результат в ±10% годовых (в какие-то моменты времени было большие, в другие — меньше, но в среднем около 10%). У меня, возможно, были ожидания большего дохода (на уровне 15-20%), но реалии пока таковы. Если пересчитать на более привычный месячный ROI — то получится 1% возврата инвестиций в месяц.
Много это или мало? Однозначно больше и удобней, чем традиционный депозит в банке. Но и рядом не стоит с самыми консервативными покупками сайтов (хотя там 2-3% месячного ROI уже в порядке вещей, для крупных СДЛ). Для фондового рынка — это фактически повторяет индекс Мосбиржи. То есть опять же — вполне стандартный результат, даже не смотря на ручный выбор акций, и не всегда первого эшелона.
Вот для примера ПИФ Арсагеры (рекомендую их книгу почитать), который в моем случае дал 8% годовых. Для себя лично я пришел к выводу, что вкладываться в ПИФы слишком скучно, и немного неоперативно (сложнее купить и продать), и они подходят больше для совсем пассивного инвестирования. ETF в этом плане куда интересней, особенно для сложнодоступных зарубежных рынков, но тоже достаточно пассивны.
Дисциплина
Основная сложность — это придерживаться строгой, изначально выбранной стратегии. К примеру, для себя я выбрал как оптимальную — после выплаты адсенса сразу же переводить средства на брокерский счет, в размере 10% от месячного дохода, и сразу на них что-то брать. Тут важно именно не пропускать эти покупки (даже если вам кажется, что рынок на дне, и надо все выводить в кеш), и не выводить средства. Я два месяца в этом году пропустил, и только сейчас переборол себя и начал снова вкладывать, уже чуть меньшими суммами. Без системного подхода — не будет системного результата.
Так же — диверсификация. То есть вложения в разные акции разных секторов. У меня приоритет на дивидендных акциях. Какие-то акции в плюс, какие-то в минус, но так как их много, и нет перекосов — все более-менее сбалансированно. Видно, что я не вкладываю больше 20к в одну акцию. Выбор акций — головная боль, но за год обычно приноравливаешься и начинаешь более-менее понимать, какие акции более выгодны, и что интересней держать, а самое главное — что в данный момент выгодней покупать. Я стараюсь брать те, что платят дивиденды, либо те, что сильно упали, иногда по чьим-то случайным рекомендациями, или когда изучаю какую-то компанию.
Обычно я колонки немного по другому настраиваю, но сейчас для наглядности, чтобы и тикер виден, и разделение дивидендного/курсового дохода. Ну годовые проценты. Так же видно, что некоторые акции по курсу просели, но за счет дивидендов — доходны, и это в общем-то норма (сразу после выплаты дивидендов цена акций падает на размер дивов — дивидендный гэп — и затем через некоторое время возвращается).
Облигации. Не сразу понял, зачем они нужны, по сути — как банковский депозит. Плюс подушка на случай сильного падения рынка — можно продать облигации (они не так теряют в цене во время кризисов) и купить упавшие акции. Небольшая часть — в рискованных, но доходных корпоративных облигациях, пока что платят (по сути, можно было бы вообще весь портфель в корп.облгиациях держать и иметь доходность 12-15%, но на мой взгляд это рискованней, и на дальней дистанции менее доходно).
Так же, если для вас болезненно терять деньги (а это очень нервирует поначалу), облиги — лучший выбор. Они почти всегда растут вверх, хоть и понемногу =) По графику опять же видно, что сверхконсервативные ОФЗ дали в годовых процентах больше, чем портфель в целом. Только не спрашивайте, как считается годовая доходность — там целая головная боль, как всё это считать в зависимости от времени владения, докупок акций, дивидендов и купонов, поэтому и интелинвестом пользуюсь)
Ошибки
1. ОВК
Итак, у меня подход «купил и держи», я замечаю акции ОВК, которые за несколько месяцев упали в цене с 800 до 400 рублей. Вагоны всем нужны, и я покупаю акции по 410р. Через три месяца выходит положительная новость, цена скачет до 700+ рублей за акцию, я не понимаю что надо делать. На следующий день решаю продавать, выставляю продажу по 700р — цена акций падают до 650, жду, выставляю по 600 — цена падает до 500. Еще около месяца она болтается на уровне 500 рублей, и затем падает уже до 430.
В чем ошибка? Акции ОВК я брал «наобум», они не представляют для меня особого долгосрочного интереса. При приросте их цены на 50% стоило их продать, зафиксировать прибыль, и купить другие, долгосрочные акции. Но так-как я об этом изначально не подумал, и изначально не хотел «трейдить» — я упустил момент. Даже вот эта одна сделка могла бы удвоить годовой доход, и ладно бы если я не заметил этого скачка (что вполне могло бы быть) — но я вживую наблюдал за котировками.
Вывод для себя — если какие-то акции «второго эшелона» внезапно вырастают на 30% и более — нужно либо сразу эти акции продавать, либо аткивно мониторить «горку» и продавать, когда начнется спад.
Сейчас в той же ситуации Татнефть — с одной стороны, акции держу 5 месяцев, и она уже по курсу набрала +30%. С другой стороны — нужный сектор, платит дивы, то есть однозначно держать.
2. Яндекс и FXIT
Во первых, изначальная их покупка смысла не имела — ни ETF, ни яндекс дивидендов не платят в принципе, и не особо помогают диверсифицировать риски интернет-бизнеса. Во вторых — решил, что дальше держать их не хочу, и продал с минимальной прибылью. Если бы держал дальше до следующего пика — заработал бы еще 2500р, то есть еще пару процентов к годовому доходу. Хотя я на деньги от продажи и купил акций Мостотреста, который принес 1000р за это время, но все равно.
Сейчас в той же ситуации — Аэрофлот и Мосбиржа. С одной стороны — надоело держать эти акции. С другой — продав их сейчас, зафиксирую убыток в 2500р. Что делать в подобных ситуациях, я пока не знаю (с одной стороны, если продашь акции — они могут вырасти. С другой стороны, если вместо них купить другие, более хорошие акции — они могут куда быстрее отбить этот убыток).
Бурж акции
Если вы зарабатываете в долларах, тратите в долларах, или живете не в РФ — то для вас куда логичней будет покупать акции зарубежных компаний. Делается это довольно просто через спб биржу, для основных компаний, и там точно так же — акции, облигации, дивиденды, общая стратегия ничем не отличается. Но для полноценной работы конечно нужен уже зарубежный брокер (типа IB), что куда накладней по деньгам. Я в US рынок не вкладываюсь в данный момент, поэтому по конкретным компаниям и секторам ничего не подскажу. Да и честно говоря я не доверяю ему — к примеру, все в восторге от роста цен на акции Apple и триллионную капитализацию, но все как-то забывают про вот такой график:
То есть рост цен на акции вызван не только повышением интереса инвесторов, а скорее накачкой денег самой компанией, когда вместо трат на разработку или выплаты дивидендов — компания выкупает акции с рынка, обеспечивая рост цен на эти акции, и как следствие — свою капитализацию. В 2018 компания выкупала акций на $20 млрд каждый квартал, и по последним новостям — собирается выкупить еще акций на $75 млрд в 2019. Это явное заигрывание с фондовым рынком, которое ничем хорошим не кончится, хоть позволит заработать в краткосроке на этом росте. И, предвосхищая вопрос — нет, этим балуется не только Apple — половина компаний из S&P 500, потратившие на них $800 млрд за 2018, и последние 10 лет суммы наращиваются. В России подобное тоже практикуется — например, вышеупомянутый Яндекс выкупил акций на 9 млрд рублей, но пока еще не носит такой массовый характер.
То есть, резюмируя — в любом случае риски есть, в любых рынках, вопрос в том, насколько вы о них осведомлены =)
Трейдинг
Конечно, у многих есть соблазн именно зарабатывать на фондовом рынке, заниматься трейдингом. Это, конечно, возможно, но не стоит забывать, что это точно такая же работа, с большим количеством профессионалов и роботов, и ежедневные торги сильно изматывают. И уж тем более, если торговать с плечом, которое увеличивает доход, но равноценно увеличивает и убытки. Там своя кухня, свои талмуды, истории, сообщество Smart-lab и т.д. У меня появляются мысли создать второй счет именно для агрессивной торговли, с тем что не жалко потерять в случае чего, но это в отдаленной перспективе — пока что нужно накопить на основном.
С чего начать
Если у вас есть счет в Альфа-банке или Тинькофф — вы можете просто с телефона активировать брокерский счет, скачать приложение и начать покупать акции. Возможно, у вашего банка такое тоже есть, нужно смотреть. Если нет — то придется поискать брокера, заключить договор, и подключить терминал (так же есть мобильные версии). За последний год число клиентов Мосбиржы увеличилось на 700 тысяч человек, большая часть — как раз с мобильных клиентов. Все предельно просто)
У меня появилась идея для бизнеса/хочу купить машину/съездить в отпуск, стоит ли вывести деньги из акций?
Однозначно нет. Любые потребительские траты должны обеспечиваться отдельно. Инвестиции в фондовый рынок имеют смысл именно как долгосрочное вложение и план на пенсию, а не как потребительская копилка, хотя инструменты (типа облигаций) можно использовать и для этого — но в виде отдельного портфеля, на котором деньги копятся изначально на какую-то покупку.
Исключения — обмен на другой актив (например, на квартиру), решение проблем со здоровьем (своим или близких), когда промедление недопустимо. Ну или на условный «черный день», когда например уволили с работы, и хочешь несколько месяцев спокойно отдохнуть и поискать новую. Потеря рабочего инструмента. Во всех остальных случаях (в том числе открытие бизнеса) вытаскивание средств из портфеля перечеркивает ваши усилия за предыдущий период времени.
В лично моем случае, я за год накопил 240к рублей. С одной стороны, эта сумма не очень большая, я иногда за месяц больше зарабатывал. С другой стороны — а где всё то, что зарабатывалось? Потрачено на бизнес, на быт, на путешествия. Прошло какое-то время, в сайтах пошел спад, пошли месяца в минус, появились неотложные траты, накопления на счету просели. Но вот моя подушка в акциях, которой хватит на 3-4 месяца жизни в Самаре, или какие-то критичные траты. Это сильно бережет нервы, позволяет не беспокоится по поводу временных неурядиц. И вот если бы у меня прям сейчас стоял вопрос «как достать 250к» — мне бы пришлось сильно напрячься, продать какие-то сайты, аврально работать. Но в течении года это урезание на 10% было практически незаметно, в некоторые месяцы наоборот был спортивный интерес вложить больше.
Если сравнивать с другими методами накопления — просто кеш сгорает с инфляцией (валюта тоже, только медленней) и его легко тратить, депозиты слишком негибкие (сложно довкладывать-снимать), недвижимость слишком дорогая и геморная (хотя и есть интересные способы с недорогой недвижкой, типа гаражей, но там тоже куча подводных камней). Фондовый рынок получается наиболее простой и гибкий способ с нужными характеристиками, причем с большим количесивом вариантов внутри (от консервативных ОФЗ до акций второго-третьего эшелона или скупкой дефолтных облигаций)
Риски и кризисы
Лирическое отступление для тех кто не знал — кризисы это нормальное состояние рыночного капитализма, фаза роста заканчивается кризисом, который банкротит неэффективные компании и владельцев капитала, после чего снова начинается рост. То есть вопрос не в том, «будет кризис или нет» (как если бы это было какое-то стихийное бедствие), а в том, когда он произойдет, и что надо делать. Прошлый был в 2008, но ему не дали нормально «отжечь» в мире, и многие компании, которые должны были тогда обанкротится — остались на плаву. Следующий, соответсвенно, будет еще сильнее (а в силу глобализации — финансовый кризис в одной стране, особенно крупной, заденет весь мир). Когда он будет — завтра, через год, через 10 лет — не суть, главное быть к нему готовым.
Так же, акции совсем не обязательно всегда растут, вполне можно купить акций, и через год остаться с убытком. Нужно привыкнуть к этому, не паниковать, и не фиксировать убытки на эмоциях, необдуманно. Самое правильно поведение во время кризиса — продать облигации (они не так теряют в цене, так как это долги, а не доли в компаниях), либо найти где-то еще дополнительные средства, и закупить акциями на дне рынка. Либо ничего не делать, и продолжать так же регулярно покупать акции/индекс, особенно во время кризиса. Рынок со дня поднимется через 1-2 года, а у вас в портфеле окажутся акции с намного меньшей стоимостью, давая повышенный доход на дивидендах. Главное — грамотно выбирать компании, те, которые от кризиса страдают временно, а не идут ко дну банкротства.
Вот такие дела =) Надеюсь, кому-то это поможет решиться начать откладывать средства. Важна не сумма — важна дисциплина, даже если вы будете откладывать в месяц 5к рублей — это будет иметь значение.
0 
77 
Оригинал 
Блогов 52
Постов 13950
Оценок 111
Попробуй
1. Взять карту сайта, вытащить оттуда все ссылки на товары
2. Скормить их screaming frog
3. Там есть режим extraction, который по xpath вытягивает данные. Посмотри в коде страниц ссылки на картинки, скопируй xpath, добавь в поле в extraction
4. Аналогично для артикула
5. Спарси все это дело, потом через впр сопоставь в Экселе.
Хз будем работать на больших объемах или нет – тестил до 5к позиций. Топорно, но работает.