Пара фокусов с xPDO


В ходе одного исследования выяснил несколько интересных вещей про xPDO, о которых раньше не задумывался или некогда было проверить.

Решил немедленно поделиться.

Выборка 1000 ресурсов

$q = $modx->newQuery('modResource', array('id:>' => 0));
$q->limit(1000);

$q->prepare();
$q->stmt->execute();
$res = $q->stmt->fetchAll(PDO::FETCH_ASSOC);
foreach ($res as $v) {
	//echo $v['modResource_pagetitle'];
}
Этот код работает за 0.042197227478 и занимает 33.3 Mb памяти.

$q = $modx->newQuery('modResource', array('id:>' => 0));
$q->limit(1000);

$res = $modx->getCollection('modResource', $q);
foreach ($res as $v) {
	//echo $v->get('pagetitle');
}
А этот уже за 2.15289998055 и занимает 78.3 Mb памяти.

В чем же разница?

Внимательный зритель уже догадался в чем трюк — в первом примере мы достаем не объекты, а чистые массивы данных, отсюда скорость и экономия памяти.

Если нужно просто вывести содержимое объектов на экран — то это способ гораздо быстрее.
Обратите внимание, что к полям приписывается имя класса — modResource_ в данном случае. Это можно изменить, используя $q->select('pagetitle');

А если нужно использовать $resource->get(), $resource->set(), $resource->getTVValue() и другие методы объектов — тут второй запрос, помедленнее.

Выборка 100 ресурсов

Те же 2 выборки, но с $q->limit(100):
Без объектов:
Память: 17.6 Mb
Время: 0.00191211700439

С объектами:
Память: 23.6 Mb
Время: 0.216797113419

Тут отличие уже не так значительно. Особенно учитывая, что в реальных выводах страниц используется пагинация, и разбивка результатов на 10 — 15 ресурсов за раз.

Выборка 1 ресурса

Те же 2 выборки, но с $q->limit(1); показывают закономерную картину:
Без объектов:
Память: 17.6 Mb
Время: 0.00191211700439

С объектами:
Память: 17.8 Mb
Время: 0.00573897361755

На малой выборке разницы особой нет.

Выводы

Тут все просто.

Когда вам нужна экономия памяти и высокая производительность для выгрузки товаров, например, или генерации карты солидного сайта — используйте первый метод.

Если же нужны удобства, или размер выборки небольшой — можно не заморачиваться и делать как обычно.

На закуску

А знаете ли вы, что можно составлять запросы вот так:
$sql = "SELECT * FROM {$modx->getTableName('modResource')} WHERE `id` > 0 LIMIT 1000";

$q = new xPDOCriteria($modx, $sql);

$res = $modx->getCollection('modResource', $q);
foreach ($res as $v) {
	//echo $v->get('pagetitle');
}
Это тот же второй вариант, с объектами, но SQL запрос составлен в ручную. С одной стороны — вы можете делать так любые выборки, с другой — таккой запрос не универсален, и на Microsoft SQL это работать не будет.
А при использовании $modx->newQuery() — будет, он позаботся о правильном составлении запроса согласно модели.
Плюс, newQuery еще дополнительно приведет значения к типам, указанным в модели. То есть, если у вас в модели id указан как int(10), а вы пихаете туда строку — newQuery превратит ее в 0. То есть, приведет к типу int.

Как видно, написание запроса вручную нисколько не экономит время. Но позволяет делать сложные выборки.
Память: 77.8 Mb
Время: 2.14725112915

Ну и самый легкий вариант:
$sql = "SELECT * FROM {$modx->getTableName('modResource')} WHERE `id` > 0 LIMIT 1000";
$q = $modx->prepare($sql);
$q->execute();
$res = $q->fetchAll(PDO::FETCH_ASSOC);

foreach ($res as $v) {
	//echo $v['pagetitle'];
}
Этот метод отрабатывает уже на чистом PDO, вообще без xPDO объектов.
Но разница с ног не сшибает:
Память: 32.7 Mb
Время: 0.0292019844055

Хотя в этом случае не создается здоровенный объект xPDOCriteria.
Видимо, кудесники из MODx что-там хорошо наоптимизировали в своем xPDO.

Вот такие приемы можно использовать в MODx Revolution.

Да, кстати, выборка 3000 ресурсов первым методом проходит за 0.0797028541565 и занимает 64.0.
Вторым — за 6.38202881813 и кушает 194.5 Mb.

Для замера времени использовалась функция microtime(true), для памяти — memory_get_usage(true).
18 june 2012, 14:12    Василий Наумкин   G+  
13    6506 0

Comments (36)

  1. Иван Брежнев 07 july 2012, 15:41 # 0
    Это отличная статья, я ей постоянно пользуюсь =)
    1. KonstantinGreat 06 october 2012, 00:02 # 0
      очень полезная инфа, скоро будет протестена, спасибо
      1. Иван Брежнев 15 october 2012, 00:54 # 0
        Выборка самым последним способом 20к ресурсов

        Ресурсов: 20000
        Памяти скушано: 94.25Мб
        Время работы сниппета 0.58 сек
        1. Сергей Лелеко 29 november 2012, 20:11 # 0
          Василий, не могли бы Вы пояснить по поводу строки $q = $modx->newQuery('modResource', array('id:>' => 0));
          в частности id:>' => 0, тут имеется ввиду значения в столбце айди больше нуля?
          И с modResource не понятно — это системная таблица какая-то или что?
          Я новичек не могу пока до конца разобраться в xPDO по этому прошу не удивляться сильно моим вопросам))
          1. Иван Тимофеев 29 november 2012, 21:18 # 0
            в частности id:>' => 0, тут имеется ввиду значения в столбце айди больше нуля?
            верно

            И с modResource не понятно — это системная таблица какая-то или что?
            modResource это модель описывающая структуру таблицы. таблица *table_prefix*site_content
          2. Сергей Лелеко 29 november 2012, 21:35 # 0
            Иван, а если я уже сгенерировал модель с помощью скрипта для своих таблиц? тогда нужно что-то типа:
            <?php
            $modx->addPackage('leleko-cdb', $modx->getOption('core_path').'components/leleko-cdb/model/','leleko_cdb_');
            и уже тогда вместо modResource мою модель?
            1. Иван Тимофеев 30 november 2012, 01:15 # 0
              все верно
            2. Николай 19 september 2013, 00:10 # 0
              Василий, я только вникаю в суть работы PDO и xPDO. Прошу подсказать как вывести все данные из своей созданной таблички.
              $sql = "SELECT * FROM {$modx->getTableName('tablename')} LIMIT 1000";
              $q = $modx->prepare($sql);
              $q->execute();
              $res = $q->fetchAll(PDO::FETCH_ASSOC);
              
              foreach ($res as $v) {
                  echo $v['createdon'];
              }
              Ничего не выводится… Я пытался и modx_tablename — тоже результата 0.

              Из предыдущей заметки

              $q = $modx->newQuery('modResource');
              $q->where(array('id:>' => 0));
              $q->limit('100');
              if ($q->prepare() && $q->stmt->execute()) {
                  $arr = $q->stmt->fetchAll(PDO::FETCH_ASSOC);
              }
              getStatus('Выборка '.count($arr).' ресурсов через xPDO');
              Это вообще кладет сайт с 500й ошибкой
              1. Николай 19 september 2013, 00:30 # 0
                {$modx->getTableName('tablename')}
                Ага, в этом была проблема, нафиг getTableName только чистое название бд… А на сколько этот метод правильный?
                1. Василий Наумкин 19 september 2013, 03:36 # 0
                  Если делаешь для себя и переносить никуда не планируешь — то вполне правильный метод.
              2. Павел Левин 02 february 2014, 22:10 # 0
                Всё пытаюсь исключить из выдачи ненужные поля, но никак не могу понять как это сделать, к примеру мне нужны «id» и «parent», а мне выплёвываются в массив все поля всех найденных документов, что и увеличивает работу скрипта.

                М.б. кто нибудь подскажет ссылочку на статью, для наводки? или пример.
                1. Сергей Шлоков 02 february 2014, 22:24 # +1
                  Для начала почитать можно тут
                  Можно тут pdoTools
                  1. Василий Наумкин 02 february 2014, 22:28 # +1
                    Ты когда вызываешь toArray(), xPDO довыбирает все невыбранные поля.

                    Просто получай нужное через get() или используй PDO — там всё прозрачнее.
                    1. Павел Левин 03 february 2014, 18:20 # 0
                      Делаю так
                      $pubTime = strtotime(date("Y-m-d G:i:s"))-(24*60*60);
                      $pubTimeEnd = $pubTime+((24*60*60)*2);
                      $q = $modx->newQuery('modResource', array(
                               'context_key' => 'web'
                              ,'isfolder' => 0
                              ,'deleted' => 0
                              ,'publishedon:>' => $pubTime
                              ,'publishedon:<=' => $pubTimeEnd
                      	));
                      $q->select($modx->getSelectColumns('modResource','modResource','',array('id','parent')));
                      $q->prepare();
                      $q->stmt->execute();
                      $result = $q->stmt->fetchAll(PDO::FETCH_ASSOC);
                      return $modx->toJSON($result);
                      Получаю массив, но не знаю… верно ли я это сделал, не особо понял зачем $modx->getSelectColumns и для чего указывать 'modResource','modResource', всё это меня смущает и возможно оно работает криво??
                      1. Павел Левин 04 february 2014, 14:28 # 0
                        сделал так, работает:
                        $q->select('id,parent');
                  2. Павел Левин 06 february 2014, 15:55 # 0
                    Не могу найти пример использования OR для запроса в БД, для
                    $q->where()
                    1. Andrey Grachov 06 february 2014, 16:29 # 0
                      Этот код:
                      $q = $modx->newQuery('modResource');
                      $q->select(array(
                          'modResource.*',
                      ));
                      $q->where(array(
                          'template' => 1,
                          'OR:pagetitle:LIKE' => '%home%',
                      ));
                      
                      даст такой запрос:
                      SELECT modResource.* FROM `modx_site_content` AS `modResource` WHERE ( `modResource`.`template` = 1 OR `modResource`.`pagetitle` LIKE '%home%' ) 
                      А этот:
                      $q = $modx->newQuery('modResource');
                      $q->select(array(
                          'modResource.*',
                      ));
                      $q->where(array(
                          array(
                              'template' => 1,
                              'pagetitle:LIKE' => '%home%',
                          ),
                          array(
                              'OR:id:=' => 1,
                              'published' => true,
                          ),
                      ));
                      
                      даст две группы, объединенные оператором OR:
                      SELECT modResource.* FROM `modx_site_content` AS `modResource` WHERE ( ( `modResource`.`template` = 1 AND `modResource`.`pagetitle` LIKE '%home%' ) OR ( `modResource`.`id` = 1 AND `modResource`.`published` = 1 ) ) 
                      Дополнительную информацию можно посмотреть тут: rtfm.modx.com/xpdo/2.x/class-reference/xpdoquery/xpdoquery.where
                      1. Павел Левин 07 february 2014, 12:10 # 0
                        Спасибо. Странно, что мне он выводит пустой массив, хотя если делать 2 разных запроса, то массивы будут не пусты.

                        Пишу так:
                        array(
                                 'context_key'      => $context
                                ,'isfolder'         => 0
                                ,'deleted'          => 0
                                ,'editedon:>'       => $pubTime
                                ,'editedon:<='      => $pubTimeEnd
                                ),
                                array(
                                 'OR:context_key'      => $context
                                ,'isfolder'         => 0
                                ,'deleted'          => 0
                                ,'publishedon:>'    => $pubTime
                                ,'publishedon:<='   => $pubTimeEnd
                                )
                        Получаю пустоту [].
                        1. Andrey Grachov 07 february 2014, 12:42 # 0
                          Если используете OR:, то надо обязательно добавлять оператор сравнения, в вашем случае
                          'OR:context_key:=' => $context
                          вместо
                          'OR:context_key' => $context
                          1. Павел Левин 07 february 2014, 13:39 # 0
                            OR идёт для второго массива или только для значения $context ????

                            Помогло, что-то вывел), буду дальше пытать.
                            спасибо.
                    2. Артур 14 february 2014, 08:05 # 0
                      В конце статьи приведен «Ну и самый легкий вариант», очень показался подходящим, сделал на подобии запрос, мне нужно было вывести некоторые поля всех ресурсов + два тв параметра, с одним нет проблем, но два не выходит, цепляется только последний.
                      $sql = "
                      SELECT res.pagetitle, res.introtext, res.content, img.value, video.value
                      FROM {$modx->getTableName('modResource')} res
                      LEFT JOIN {$modx->getTableName('modTemplateVarResource')} img
                      ON res.id=img.contentid AND img.tmplvarid=2
                      LEFT JOIN {$modx->getTableName('modTemplateVarResource')} video
                      ON res.id=video.contentid AND video.tmplvarid=6
                      LIMIT 7000";
                      $q = $modx->prepare($sql);
                      $q->execute();
                      $arr = $q->fetchAll(PDO::FETCH_ASSOC);
                      print_r($arr[0]);
                      
                      и выдается следующая структура массива:
                      Array ( [pagetitle] =>… [introtext] =>… [content] =>… [value] =>… ) т.е. почему-то на псевдонимы не заменяются названия таблиц, и из-за одинаковых полей работает только последний джоин. Как можно этого избежать?
                      1. Василий Наумкин 14 february 2014, 08:27 # 0
                        Нужно указать псевдонимы:
                        SELECT res.pagetitle, res.introtext, res.content, img.value as img, video.value as video
                        1. Артур 15 february 2014, 06:59 # 0
                          Спасибо! Если можно, спрошу заодно, насколько неразумно в проекте с большим количеством данных, и, например, в ответе запросов Ajax, такими методами выводить информацию?
                          1. Василий Наумкин 15 february 2014, 07:02 # 0
                            Запрос лучше строить всё-таки через xPDO, а выводить через PDO.

                            Это можно писать вручную, а можно использовать сниппеты pdoTools и методы самой библиотеки.
                          2. Алексей 28 march 2014, 18:26 # 0
                            искал на эту полезную информацию на bezumkin.ru минут 30 -)) почему же поиск не выдает этот комментарий по запросу «select as»?
                            1. Василий Наумкин 28 march 2014, 19:06 # 0
                              Я те больше скажу, эта информация даже по Ctrl+F находится только в твоем комментарии.

                              Офигенно релевантный запрос. Зато обрати внимание, что с твоим комментарием эта тема сразу оказалась на третьем месте и здесь и в яндексе.

                              P.S. На сайте есть еще bezumkin.ru/index для таких интересных статей. В верхнем меню — первая кнопка.
                              1. Антон Соловьёв 28 march 2014, 22:03 # 0
                                Индекс это хорошо, но было бы удобнее, если была была возможность добавить тему «в избранное» как на modx.im. Чтоб щелкнул на звездочку в теме — и она в профиле в разделе «Избранное».
                                1. Василий Наумкин 28 march 2014, 22:20 # +1
                                  modx.im — это движок LiveStreet.

                                  Мой сайт построен целиком на MODX и компоненте Tickets. Здесь пока нет избранного, но когда-нибудь, возможно, и появится.

                                  Мне вообще кажется неправильным строить сайты для модыксеров на базе неMODX решений.
                                  1. Wassi Wassinen 29 march 2014, 00:24 # 0
                                    Да, Василий, добавь избранное. Иной раз читаешь, понимаешь — пользительно! А потом силишься вспомнить, йод пьешь,-втираешь, а не вспомнить, что за статья была.

                                    И пока не забыл — отчего-то msOrder параметр tplSuccess забирает, только если прописать в дефолтных настройках. В вызове &tplSuccess=`bla-bla` не понимает.
                                    1. Василий Наумкин 29 march 2014, 06:07 # 0
                                      Ты готов заказать и оплатить этот новый функционал в Tickets?

                                      На всякий случай — в браузерах дааааавно есть такая функция.
                                      1. Алексей 29 march 2014, 07:53 # 0
                                        Браузер может слететь, комп может полететь из окна (хотя я уже давно пользуюсь синхронизацией избранного с аккаунтом гугла для таких случаев).
                                        Но все же, как интересно было бы смотреть чужое избранное, к примеру, что Илья Уткин подчерпнул ценное на сайте, и что занес в избранное? Кстати, статистика статей добавленных в избранное покруче будет рейтинга — новый критерий для «веса» в поиске.

                                        PS: цена вопроса?
                                        1. Илья Уткин 29 march 2014, 18:25 # +1
                                          Решил на выходных помочь сообществу и Василию, написал систему избранного для Tickets. Если Василий примет pull reqгest, опишу подробнее уже в отдельной статье.
                                          1. Илья Уткин 29 march 2014, 18:41 # +1
                                            Как это выглядит, можно посмотреть в минидемонстрации. Сейчас там одно избранное на всех, а в реальности у каждого будет свое избранное.
                                            1. Василий Наумкин 29 march 2014, 19:45 # 0
                                              Посмотрел по диагонали — для начала неплохо. Но нужны еще комментарии и вывод этого избранного самому юзеру, или другим.

                                              Постараюсь доработать на досуге и причесать всё, чтобы было в одном стиле с уже написанным.

                                              Спасибо!
                                              1. Илья Уткин 29 march 2014, 19:49 # +1
                                                Вывод пользователю:
                                                [[!pdoPage?
                                                    &element=`getTickets`
                                                    &sortby=`{"star_createdon":"DESC"}`
                                                    &groupby=`star_id HAVING star_id IS NOT NULL AND star_user = [[!+modx.user.id]]`
                                                ]]
                                                1. Wassi Wassinen 30 march 2014, 00:02 # 0
                                                  Илья, чудесно реализовано! Спасибо!
                                You need to login to create comments.