Приложение "Yandex.Realty Parser"

Приложение для реализации импорта объявлений на сайт из фидов составленных по формату Яндекс.Недвижимость

Установка

Распакуйте архив и загрузите в корень сайта, так чтобы /cron.php лежал в корне, а /apps/yandexrealty_parser/yandexrealty_parser.xml лежал именно по этому пути.
После этого обязательно зайдите в обновления и обновите приложение yandexrealty_parser.
Теперь зайдите в редактор форм и в таблице user_by_domain нажмите создать "Обработчик по-умолчанию" это иконка со звездочкой справа от названия таблицы.
Введите название обработчика "Источники парсинга XML".
После сохранения у вас в админке справа сверху должен появиться в меню Пользовательские пункт Источники парсинга XML.
Зайдите в этот пункт меню и можете добавить новую запись. Выберите пользователя и адрес URL для xml данных, например http://другойсайт.ru/yandex.xml
Также необходимо зайти в настройки во вкладку Yandex.Realty Parser установите (apps.yandexrealty_parser.use_image_cache) = 1 и (apps.yandexrealty_parser.create_yandex_category_structure) = 1
Теперь можно запустить парсинг объектов запустив в браузере http://вашсайт/cron.php - первый запуск загурзит только текстовые данные, после загрузки необходимо зайти в Приложения - Seo- оптимизация и нажмите там Обновить структуру.
Для загрузки картинок необходимо запустить: http://вашсайт/cron.php?parse_images=1 - при каждом запуске по-умолчанию идет парсинг 10 объявлений.
ВНИМАНИЕ!!! Рекомендуется запускать парсинг сначала на тестовом сайте, так как эта операция загуржает в базе большое количество данных, в некоторых xml их может быть больше 10 тыс.

Можно добавить задачи в планировщик, чтобы они автоматически запускались
Например, строчка запуска парсинга XML раз в 30 минут

  */30 * * * * /usr/bin/wget -O /dev/null -q http://вашсайт/cron.php

Пример запуска парсинга картинок раз в 5 минут

  */5 * * * * /usr/bin/wget -O /dev/null -q http://вашсайт/cron.php?parse_images=1

Требования

Приложение требует дополнения модели полем url (тип safe_string) для хранения признака идентичности, если не используется настройка apps.yandexrealty_parser.use_internalids, предписывающая сличать объекты по внешнему ID

Сличение объектов

Объекты в фиде и объекты на сайте проходят сличение для того, что бы определить какие объекты являются аналогичными в фиде и в сайте и подлежат обновлению, а какие являются новыми и требуют вставки. Сличение может проводиться либо по полю модели объекта data с именем url, в котором хранится урл объявления из xml-фида, либо по идентификатору объекта в БД, который может соответствовать аналогичному в xml-фиде.

Переключение между этими двумя режимами выполняется настройкой Использовать internal-id в качестве ID (apps.yandexrealty_parser.use_internalids). При ее включении объекты будут добавляться в сайт с идентификаторами равными идентификаторам объектов в xml-фиде.

Перелинковка категорий

Для активации этого режима включите две опции в Настройках

  Использовать переключатель активности для категорий (use_topic_publish_status) 

и

  Включить переадресацию категорий (use_topic_linker)

При парсинге будет создаваться структура яндексовая в структуре.
Сейчас создался раздел Аренда.
Их можно выключить если в редактировании раздела убрать галочку Раздел активен и тогда раздел будет отмечен оранжевым, т.е. он будет виден в админке но не будет виден на сайте и при добавлении объектов его не будет видно.
Чтобы перекидывать объекты из этого нового раздела в существующий в структуре есть кнопка Переадресация категорий.
Там можно в средней колонке выбирать куда перенаправлять объявления (выпадающий список и сохранить потом).
Часто бывает так, что в одном разделе собирается куча объектов по разным количествам комнат.
Например, раздел Аренда – Жилая – Квартира и в него будут приходить все квартиры не зависимо от количества комнат.
Если вам нужно разделить на своем сайте количество комнат в каждый отдельный раздел, тогда нужно заполнять поле system.PARAMS
Туда нужно вписывать идентификатор категории и признак указывающий на количество комнат.
Например,

   {"23":[{"number":1}],"24":[{"number":2}],"25":[{"number":3}],"26":[{"number":4}]}

В этом правиле следующая логика
Объекты с количеством комнат 1 будут перекидываться в раздел с идентификатором 23
Объекты с количеством комнат 2 будут перекидываться в раздел с идентификатором 24
Объекты с количеством комнат 3 будут перекидываться в раздел с идентификатором 25
Объекты с количеством комнат 4 и более будут перекидываться в раздел с идентификатором 26

Для того чтобы учитывался параметр new_flat (новостройка), можно расширить условия так

   {"23":[{"number":1},{"new_flat":0}],"24":[{"number":2},{"new_flat":0}],"25":[{"number":3},{"new_flat":0}],"26":[{"number":4},{"new_flat":0}],"33":[{"number":1},{"new_flat":1}],"34":[{"number":2},{"new_flat":1}],"35":[{"number":3},{"new_flat":1}],"36":[{"number":4},{"new_flat":1}]}

Подробнее про перелинковку можно узнать на форуме https://www.sitebill.ru/s/topic/2723-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0-%D0%B4%D0%BB%D1%8F-%D0%B7%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B8-%D0%BE%D0%B1%D1%8A%D1%8F%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9-%D0%B8%D0%B7-%D0%B0%D0%B2%D0%B8%D1%82%D0%BE/?page=2

Парсинг географии

При парсинге разбираются следующие параметры расположения - страна, регион, район области, город, район города, улица, номер дома.

Географические значения размещаются в базе двумя способами - несвязанным, когда каждый параметр географии не содержит ссылки на своего родителя и это же отсуствие связи соблюдается в данных объявления, и связанном - когда для размещения каждого следующего значения географии необходимо найти соотвествующий или разместить параметр с предыдущего уровня.

В связанном режиме загрузки могут учитываться стандартные связи в модели объявления или, при включенной настройке apps.realty_off_system_ajax, пользовательские связи. Основными выступают связи указанные в модели объявления. Если в модели объявления у Вас указана зависимость улицы от города, а в модели улицы будет указана ее зависимость от района, то при парсинге будет учитываться именно первый вариант, но не второй.

При связанном режиме НЕ БУДУТ ДОБАВЛЯТЬСЯ те географические уровни, для которых не удалось определить родительский объект, если он требуется. Например, если в выгрузке пропущено указание региона, а указаны только страна и город, но в модели объявления указаны связи вида Страна - Регион - Город, то для загружаемого объявления будет указана только страна, так как определить и добавить город не будет возможности из-за отсуствия промежуточного звена Регион.

По умолчанию используется режим несвязанного добавления географии.

Несвязанный режим

Используется при выключенной настройке apps.yandexrealty_parser.connected_geo

География парсится по уровням. Каждый уровень раскладывается в соотв. таблицу географический сущностей и в соотв. поле в модели объекта без учета связок с другими уровнями. Поиск подходящего существующего объекта географии производится по текстовому названию. Если поиск не даст результата и вставка данного уровня не запрещена, то будет добавлено новая единица в таблице данного уровня.

Определяются названия страны, региона, города, района города, улицы и номер дома. Определенные значения размещаются в поля модели объекта: country_id, region_id, city_id, district_id, street_id, number. Изменить поля-приемщики данных нельзя.

Стандартный связанный режим

Используется при включенной настройке apps.yandexrealty_parser.connected_geo и выключенной apps.realty.off_system_ajax

География парсится по уровням. Каждый уровень раскладывается в соотв. таблицу географический сущностей и в соотв. поле в модели объекта с учетом связок с другими уровнями обусловленными настройками:

Ajax - обновление региона (apps.realty.ajax_region_refresh)
Ajax - обновление города (apps.realty.ajax_city_refresh)
Ajax - обновление района (apps.realty.ajax_district_refresh)
Ajax - обновление метро (apps.realty.ajax_metro_refresh)
Ajax - обновление улицы (apps.realty.ajax_street_refresh)
link_metro_to_district
link_street_to_city

Поиск подходящего существующего объекта географии производится по текстовому названию с учетом привязки к родительскому уровню. Если поиск не даст результата и вставка данного уровня не запрещена, то будет добавлено новая единица в таблице данного уровня с соотвествующей привязкой к родительскому уровню.

Например, если на парсинг пришел объект с названием региона "Тверская область" и названием города "Тверь", то в списке существующих городов будет выполнен поиск региона с именем "Тверская область", а потом поиск города с именем "Тверь", который имеет привязку к найденому ранее региону. Если город не будет найден, но вставка его не запрещена, то такой город будет добавлен в список городов и присвоен данным объекта. Если же не будет найден такой регион, и возможности вставки его не будет, то ни регион, ни город не будут добавлены, а в объекте поля, отвечающие за регион и город не будут проинициализированы.

Определяются названия страны, региона, города, района города, улицы и номер дома. Определенные значения размещаются в поля модели объекта: country_id, region_id, city_id, district_id, street_id, number. Изменить поля-приемщики данных нельзя.

Так как формат ЯН допускает "пропадание" частей географической цепочки для городов Москва и СПБ, то разобрать географию таких объектов для сайте, где указана зависимость города от региона не удастся. Для исправления этой ситуации служат две настройки данного приложения:

ID региона для города Москва (apps.yandexrealty_parser.moscow_region_id)
ID региона для города СПБ (apps.yandexrealty_parser.spb_region_id)

Данные две настройки позволяют указать в числовом виде идентификатор региона в котором следует искать названия городов для г. Москва и для г. СПБ, так как определить регион из данных XML невозможно. Установка этих значений создает ситуацию, имитирующую случай, что регион удалось определить и цепочка не разорвана. Сам регион, идентификатор которого будет указан в этих настройках, должен быть создан администратором и надлежащим способом связан с соответствующим объектов верхнего уровня.

Пользовательский связанный режим

Используется при включенных настройках apps.yandexrealty_parser.connected_geo и apps.realty.off_system_ajax

География парсится по уровням. Каждый уровень раскладывается в соотв. таблицу географический сущностей и в соотв. поле в модели объекта с учетом связок с другими уровнями обусловленными параметрами элементов модели объекта linked и depended. Парсер, на основании указанных Вами параметров элементов модели linked и depended, выстроит цепочки зависимостей элементов друг от друга и будет соблюдать их иерархию при вставке.

Для этого режима Вам необходимо указать или изменить настройки описывающие имена полей-приемщиков в модели объекта

Системное имя поля модели для хранения названия страны (apps.yandexrealty_parser.country_field)
Указывает поле-приемщик для имени страны из тега <country> XML-фида

Системное имя поля модели для хранения названия региона (apps.yandexrealty_parser.region_field)
Указывает поле-приемщик для имени региона из тега <region> XML-фида

Системное имя поля модели для хранения названия района области (apps.yandexrealty_parser.district_field)
Указывает поле-приемщик для имени района области из тега <district> XML-фида

Системное имя поля модели для хранения названия города (apps.yandexrealty_parser.locality_field)
Указывает поле-приемщик для имени города из тега <locality-name> XML-фида

Системное имя поля модели для хранения названия района города (apps.yandexrealty_parser.sublocality_field)
Указывает поле-приемщик для имени района района города из тега <sub-locality-name> XML-фида

Системное имя поля модели для хранения названия метро (apps.yandexrealty_parser.metro_field)
Указывает поле-приемщик для имени метро из тега <metro> XML-фида

Системное имя поля модели для хранения названия улицы (apps.yandexrealty_parser.street_field)
Указывает поле-приемщик для имени улицы из тега <address> XML-фида

Поиск подходящего существующего объекта географии производится по текстовому названию с учетом привязки к родительскому уровню. Если поиск не даст результата и вставка данного уровня не запрещена, то будет добавлено новая единица в таблице данного уровня с соответствующей привязкой к родительскому уровню.

Невозможность определить или вставить очередной уровень с зависимостью от его задекларированных родителей приведет к обрыву вставки всех нижеследующих уровней.

Определяются названия страны, региона, района области, города, района города, улицы и номер дома.

Так как формат ЯН допускает "пропадание" частей географической цепочки для городов Москва и СПБ, то разобрать географию таких объектов для сайте, где указана зависимость города от региона не удастся. Для исправления этой ситуации служат две настройки данного приложения:

Привязка начала цепочки для города СПБ (apps.yandexrealty_parser.spb_link)
Привязка начала цепочки для города Москва (apps.yandexrealty_parser.moscow_link)

Данные две настройки позволяют указать в виде "системное_имя_поля=числовой_идентификатор" точку отсчета для вставки географии. Например мы имеем город с именем "СПБ" и его ID=12 в нашей базе городов. Этот город расположен в регионе "Северная Россия", который расположен в стране "Россия". А сами города указываются в нашей модели объекта в поле с именем city_id. Так как для Санкт-Петербурга в выгрузке регион не будет передан совсем, мы не сможем вставить эти данные на сайт из-за разрыва в цепочке. Для этого мы можем указать в настройке apps.yandexrealty_parser.spb_link значение "city_id=12". Это будет означать, что если парсер найдет в данных XML значение <locality-name>Санкт-Петербург</locality-name>, он извлечет из БД всю иерархию уровней выше city_id для объекта географии размещенного под ID=12 и начнет анализ географии из xml уже с этой точки - определит район города, улицу, метро и вставит, при возможности, все это уже относительно объекта географии с city_id=12.

Настройки

apps.yandexrealty_parser.default_activity_status - Статус активности для добавляемых записей

Тип: чекбокс

Статус активности для добавляемых записей. В случае, если параметр выбран, записи, добавляемы парсером, будут активны. В противном случае, добавляемы записи будут вставляться в БД в неактивном состоянии.
Наследуется MLS Parser

apps.yandexrealty_parser.default_user_id - Пользователь по умолчанию

Тип: число

ID пользователя по умолчанию. Если 0 или не указано, то ID пользователя для вставляемых парсером записей будет браться из таблицы доменов. Если не 0 (а любое другое числовое значение), то в качестве user_id для позиции будет использоваться это значение и оно будет расцениваться как ID существующего в БД пользователя, но не будет проверяться парсером. Т.е. если в этот параметр будет установлено значение 5, то все записи будут привязаны к пользователю с ID=5, но икоим образом не будет проверен тот факт существует ли на самом деле в БД пользователь с таким ID.
Переопределяется параметром apps.mlsparser.default_user_id MLS Parser

apps.yandexrealty_parser.allow_create_new_category - Разрешение на создание цепочек категорий

Тип: чекбокс

Если этот параметр выбран, то при парсинге буде проводиться анализ категории передаваемого объекта и, при отсутствии подходящей, будет создана соответствующая, куда и будет помещено объявление. ЯЕсли этот параметр не будет выбран, то, при отсутствии подходящей категории, новая категория создаваться не будет, а объявление будет помещено в категорию с ID из параметра apps.yandexrealty_parser.category_for_all.
Наследуется MLS Parser

apps.yandexrealty_parser.category_for_all - Категория по умолчанию

Тип: число

Если параметр apps.yandexrealty_parser.allow_create_new_category не установлен, все вставляемые парсером записи будут ассоциированы с категорией с ID указанным в этом параметре. Реальное существование категории с таким ID проверяться не будет.
Наследуется MLS Parser