sinhronize with server

Mihail
1 parent d4d85fc1
Showing 9 changed files with 265 additions and 76 deletions Show diff stats
backend/controllers/ParserController.php
backend/models/Details.php
backend/models/UploadFileParsingForm.php
common/components/PriceWriter.php
common/components/parsers/CustomConverter.php
common/components/parsers/CustomCsvParser.php
common/components/parsers/config.php
console/controllers/ParserController.php
console/migrations/m151013_062829_deletePrefixFunction.php
@@ -101,7 +101,6 @@ class ParserController extends BaseController
                 }
                 $model->file->saveAs($model->file_path);
-
                 // для авто загрузки, обработка завершена
                 if ($model->mode) {
                     $model->success = true;
@@ -112,7 +111,10 @@ class ParserController extends BaseController
                 // === ручная загрузка ===========
                 //запускаем парсинг
                 // доп. опции для парсера
-                $options = [];
+                $options = ['converter_conf' =>
+                    ['importer_id' => $files_model->importer_id]
+                ];
+
                 if( ! $model->action ) // обработка с кастомным разделителем
                     $options['$delimiter'] = $model->delimiter;
@@ -124,12 +126,11 @@ class ParserController extends BaseController
             } else {
                 // не прошла валидация форма загрузки файлов
-                //@todo - отправка на страницу ошибок
-                $errors_arr = $model->getErrors();
-                foreach ($errors_arr as $error) {
-                    CustomVarDamp::dump(array_values($error));
+                $errors_str = '';
+                foreach ($model->getErrors() as $error) {
+                    $errors_str .= implode( array_values($error) );
                 }
-                die;
+               throw new ErrorException( $errors_str );
             }
             // листаем пагинатором, или повторно вызываем - считываем из кеша отпрасенные данные
         } else if (Yii::$app->getCache()->get('parser_data')) {
@@ -145,8 +146,11 @@ class ParserController extends BaseController
             ],
         ]);
+
+        $last_index = end( array_flip( $data[0] ) );
+        $header_counts = $last_index + 1;
         //формируем заголовок для пользователя, где он сможет выбрать соответсвие полей (выпадающий список)
-        $header_model = DynamicFormHelper::CreateDynamicModel(count($data[0]));
+        $header_model = DynamicFormHelper::CreateDynamicModel( $header_counts );
         return $this->render('results',
             ['model' => $data,
@@ -2,6 +2,7 @@
 namespace backend\models;
+use common\components\CustomVarDamp;
 use Yii;
 use backend\components\base\BaseActiveRecord;
@@ -22,8 +23,22 @@ use backend\components\base\BaseActiveRecord;
  */
 class Details extends BaseActiveRecord
 {
-    const KEY_COLUMN = ['IMPORT_ID','BRAND','ARTICLE'];
+    /**
+     *обязательные колонки
+     */
+    const KEY_COLUMN = ['IMPORT_ID', 'BRAND', 'ARTICLE'];
+
+    /**
+     * int - размер пакета запроса
+     */
     const BATCH = 500;
+
+    /**
+     * @var bool - признак необходимости удалить префикс Артикула перед вставкой
+     */
+    public $delete_prefix = false;
+    public $delete_price = false;
+
     /**
      * @inheritdoc
      */
@@ -38,8 +53,8 @@ class Details extends BaseActiveRecord
     public function rules()
     {
         return [
-            [[ 'BRAND', 'ARTICLE', 'PRICE', 'DESCR', 'BOX'], 'required'],
-          //  [['IMPORT_ID', 'BOX', 'ADD_BOX'], 'integer'],
+            [['BRAND', 'ARTICLE', 'PRICE', 'DESCR', 'BOX'], 'required'],
+            //  [['IMPORT_ID', 'BOX', 'ADD_BOX'], 'integer'],
             [['PRICE'], 'number'],
             [['BOX'], 'integer'],
             [['timestamp'], 'safe'],
@@ -69,13 +84,38 @@ class Details extends BaseActiveRecord
         ];
     }
-    public function ManualInsert ($data)
+    /**
+     *удаление (если $delete_price установлен)б а затем вставка данных с апдейтом прямымыми запросоми SQL
+     * @param $data - массив вставляемых данных, вставка будет прозводится пакетами размером указанным в константе BATCH
+     * @param $importer_id - (int) - идентификатор поставщика у которого будет сперва удалены прайсы а потом вставлены из массива $data
+     * @throws \yii\db\Exception
+     */
+    public function  ManualInsert($data, $importer_id)
+    {
+        if ($this->delete_price) {
+            // запустим пакетное удаление всех прайсов поставщика
+            do {
+                $query = Yii::$app->db->createCommand()->delete(self::tableName(), "IMPORT_ID = {$importer_id}")->sql . ' Limit ' . $this::BATCH;
+                $res = Yii::$app->db->createCommand($query)->execute();
+            } while ($res);
+
+        }
+
+        $this->ManualInsertWithUpdate($data);
+    }
+
+    /**
+     * вставка данных с апдейтом прямым запросом SQL
+     * @param $data - массив вставляемых данный, вставка будет прозводится пакетами размером указанным в константе BATCH
+     * @throws \yii\db\Exception
+     */
+    private function ManualInsertWithUpdate($data)
     {
         // \common\components\CustomVarDamp::dumpAndDie($data);
         $table_name = self::tableName();
-        $keys_arr = array_keys( $data[0] );
+        $keys_arr = array_keys($data[0]);
         // найдем те поля которые не являются ключами. Их нужно будет при дубляже апдейтить
-        $fields_arr_to_update = array_diff( $keys_arr, $this::KEY_COLUMN );
+        $fields_arr_to_update = array_diff($keys_arr, $this::KEY_COLUMN);
         $query_update = ' on duplicate key update ';
         foreach ($fields_arr_to_update as $field) {
@@ -87,18 +127,24 @@ class Details extends BaseActiveRecord
         // запросы будем выполнять пакетами
         // размер пакета установлен в константе
         // разобъем массив на пакеты и будем их проходить
-        $data = array_chunk($data, $this::BATCH );
-        foreach( $data as $current_batch_array ){
+        $data = array_chunk($data, $this::BATCH);
+        foreach ($data as $current_batch_array) {
-            //воспользуемся пакетной вставкой от фреймворка, плюс сразу с экранированием и защитой от инъекций
+            //воспользуемся пакетной вставкой от фреймворка
             $query_insert = Yii::$app->db->createCommand()->batchInsert($table_name, $keys_arr, $current_batch_array)->sql;
+            if ($this->delete_prefix) {
+                $query_insert = $this->prepareArticul( $query_insert );
+            }
             // добавим фрагмент с апдейтом при дубляже
             $query = "{$query_insert} {$query_update}";
             // \common\components\CustomVarDamp::dumpAndDie($query);
-            $res = Yii::$app->db->createCommand($query)->execute();
+            Yii::$app->db->createCommand($query)->execute();
         }
     }
-
+    private function prepareArticul( $query_insert ){
+        //CustomVarDamp::dumpAndDie($query_insert);
+        return $query_insert;
+    }
 }
 <?php
 namespace backend\models;
+use yii\base\ErrorException;
 use yii\base\Model;
 use yii\web\UploadedFile;
 use Yii;
@@ -73,8 +74,11 @@ class UploadFileParsingForm extends Model
         $data = Yii::$app->multiparser->parse( $this->file_path, $options );
         if( !is_array( $data ) ){
-            $data = ['No results'];
+            throw new ErrorException("Ошибка чтения из файла прайса {$this->file_path}");
         }
+        // файл больше не нужен - данные прочитаны и сохранены в кеш
+       if( file_exists($this->file_path) )
+            unlink($this->file_path);
         return $data;
     }
@@ -14,22 +14,45 @@ use backend\models\ImportersFiles;
 use backend\models\Importers;
 use backend\models\Details;
-class PriceWriter {
+/**
+ * Class PriceWriter
+ * @package common\components
+ * записывает в БД отпарсенные данные
+ * запись происходит в несколько таблиц
+ */
+class PriceWriter
+{
+    /**
+     * @var - int - 0 - интерактивный режим, 1 - консольный
+     */
     public $mode;
+
+    /**
+     * @var - массив с настройками записи
+     */
     public $configuration;
+
+    /**
+     * @var - массив с данными которые нужно записать
+     */
     public $data;
-    public function writeDataToDB ()
+    function __construct()
+    {
+        set_time_limit(300);
+    }
+
+    public function writeDataToDB()
     {
         // 1. запишем дату старта в таблицу файлов поставщика (ImportersFiles)
         // id  загруженного файла получим из конфигурации
-        $files_model = ImportersFiles::findOne( $this->configuration['record_id'] );
+        $files_model = ImportersFiles::findOne($this->configuration['record_id']);
         $update_date = date('Y-m-d H:i:s');
         $files_model->time_start = $update_date;
         // запишем дату начала загрузки
         if (!$files_model->save()) {
-            throw new \ErrorException(implode( ', ', $files_model->getErrors()));
+            throw new \ErrorException(implode(', ', $files_model->getErrors()));
         }
         // 2. запишем полученные данные в таблицу товаров (Details)
@@ -43,7 +66,7 @@ class PriceWriter {
                 $row['BOX'] = \Yii::$app->multiparser->convertToInteger($row['BOX']);
                 // присвоим полный артикул
                 $row['FULL_ARTICLE'] = $row['ARTICLE'];
-                if(isset($row['ADD_BOX']))
+                if (isset($row['ADD_BOX']))
                     $row['ADD_BOX'] = \Yii::$app->multiparser->convertToInteger($row['ADD_BOX']);
                 // проверим все ли обязательные колонки были указаны пользователем
@@ -55,31 +78,35 @@ class PriceWriter {
             }
         }
-            // дополним данные значением импортера и даты обновления цены
-            $this->data = \Yii::$app->multiparser->addColumns($this->data, ['IMPORT_ID' => $this->configuration['importer_id'], 'timestamp' => $update_date]);
+        // дополним данные значением импортера и даты обновления цены
+        $this->data = \Yii::$app->multiparser->addColumns($this->data, ['IMPORT_ID' => $this->configuration['importer_id'], 'timestamp' => $update_date]);
+        try {
+            //@todo add transaction
-            try {
-                //@todo add transaction
-                // попытаемся вставить данные в БД с апдейтом по ключам
-                $details_model->ManualInsert($this->data);
-
-                // 3. зафиксируем дату конца загрузки в файлах поставщика
+            if ((int)$this->configuration['delete_prefix']) {
+                $details_model->delete_prefix = true;
+            }
+            if ((int)$this->configuration['delete_price']) {
+                $details_model->delete_price = true;
+            }
+            //2. попытаемся вставить данные в БД с апдейтом по ключам
+            $details_model->ManualInsert($this->data, $this->configuration['importer_id']);
-                if (!$files_model->save()) {
-                    throw new \ErrorException(implode( ', ', $files_model->getErrors()));
-                }
+            // 3. зафиксируем дату конца загрузки в файлах поставщика
+            if (!$files_model->save()) {
+                throw new \ErrorException(implode(', ', $files_model->getErrors()));
+            }
-                // 4. зафиксируем дату загрузки в таблице поставщиков
-                $imp_model = Importers::findOne($this->configuration['importer_id']);
-                $imp_model->price_date_update = $update_date;
+            // 4. зафиксируем дату загрузки в таблице поставщиков
+            $imp_model = Importers::findOne($this->configuration['importer_id']);
+            $imp_model->price_date_update = $update_date;
-                if (!$imp_model->save()) {
-                    throw new \ErrorException(implode( ', ', $imp_model->getErrors()));
-                }
-            } catch (ErrorException  $e) {
-                throw new \ErrorException( $e->getMessage() );
+            if (!$imp_model->save()) {
+                throw new \ErrorException(implode(', ', $imp_model->getErrors()));
             }
-
+        } catch (ErrorException  $e) {
+            throw new \ErrorException($e->getMessage());
+        }
         return true;
 <?php
 namespace common\components\parsers;
+
 use common\components\CustomVarDamp;
 use yii\multiparser\Converter;
 use backend\models\Details;
+use backend\models\ImportersPrefix;
-class CustomConverter extends Converter {
+class CustomConverter extends Converter
+{
     /**
      * @param $value_arr - двумерный массив значений, которому нужно присвоить ключи
@@ -13,38 +16,43 @@ class CustomConverter extends Converter {
      */
     public static $sign;
     public static $multiplier;
+    public static $importer_id;
-    public static function convertToAssocArray ( array $value_arr, array $key_array, $key_prefix = '' )
+    public static function convertToAssocArray(array $value_arr, array $key_array, $key_prefix = '')
     {
         // очистка служебного префикса в массиве заголовков
         if ($key_prefix) {
             // @todo оптимизировать - два переворота массива - избыточно
-            $key_array = array_flip( $key_array );
+            $key_array = array_flip($key_array);
-            array_walk( $key_array,  function ( &$value, $key, $key_prefix ){ $value = str_replace( $key_prefix, '',$value ); }, $key_prefix );
+            array_walk($key_array, function (&$value, $key, $key_prefix) {
+                $value = str_replace($key_prefix, '', $value);
+            }, $key_prefix);
-            $key_array = array_flip( $key_array );
+            $key_array = array_flip($key_array);
             //уберем пустые элементы
-            $key_array = array_filter($key_array,  function ($value){ return $value !==''; });
+            $key_array = array_filter($key_array, function ($value) {
+                return $value !== '';
+            });
         }
-        array_walk( $value_arr,
-            function ( &$value, $key, $key_array ) {
+        array_walk($value_arr,
+            function (&$value, $key, $key_array) {
                 $res = $value;
                 foreach ($res as $sub_key => $sub_value) {
                     if (isset($key_array[$sub_key])) {
                         // если такой ключ в базовом массиве (массиве ключей) есть, то заменим новым, иначе просто удалим
                         $new_key = $key_array[$sub_key];
-                        if( !array_key_exists( $new_key , $res ) ){
-                            $res[ $new_key ] = $value[$sub_key];
+                        if (!array_key_exists($new_key, $res)) {
+                            $res[$new_key] = $value[$sub_key];
                         }
                     }
-                    unset( $res[$sub_key] );
+                    unset($res[$sub_key]);
                     $value = $res;
                 }
             },
-             $key_array);
+            $key_array);
         return $value_arr;
     }
@@ -54,7 +62,7 @@ class CustomConverter extends Converter {
      * @param $add_array - массив с колонками (ключи) и значениями колонок
      * @return mixed
      */
-    public function addColumns ( array $value_arr ,  array $add_array )
+    public function addColumns(array $value_arr, array $add_array)
     {
         $i = 0;
         while ($i < count($value_arr)) {
@@ -66,7 +74,7 @@ class CustomConverter extends Converter {
         return $value_arr;
     }
-    public static function convertToDetails ( array $row )
+    public static function convertToDetails(array $row)
     {
         // присвоим полный артикул
         $row['FULL_ARTICLE'] = $row['ARTICLE'];
@@ -75,19 +83,19 @@ class CustomConverter extends Converter {
         // проверим все ли обязательные колонки были указаны пользователем
         $details_model->load(['Details' => $row]);
-        if (!$details_model->validate()){
+        if (!$details_model->validate()) {
             $errors = '';
-            foreach ( $details_model->errors as $key => $arr_errors ) {
-                $errors .= "Аттрибут $key - " . implode( ' , ', $arr_errors );
+            foreach ($details_model->errors as $key => $arr_errors) {
+                $errors .= "Аттрибут $key - " . implode(' , ', $arr_errors);
             }
-            throw new \ErrorException( $errors );
+            throw new \ErrorException($errors);
         }
         return $row;
     }
-    public function ConvertToMultiply ( array $row )
+    public function ConvertToMultiply(array $row)
     {
-        $PRICE = $row[ 'PRICE' ];
+        $PRICE = $row['PRICE'];
         $sign = self::$sign;
         $multiplier = self::$multiplier;
         //CustomVarDamp::dumpAndDie(self);
@@ -96,28 +104,68 @@ class CustomConverter extends Converter {
                 if ($multiplier > 0) {
                     $PRICE += $multiplier;
                 }
-            }
-            else if ($sign == '-') {
+            } else if ($sign == '-') {
                 if ($multiplier > 0) {
                     $PRICE -= $multiplier;
                 }
-            }
-            else if ($sign == '*') {
+            } else if ($sign == '*') {
                 if ($multiplier > 0) {
                     $PRICE *= $multiplier;
                 }
-            }
-            else if ($sign == '/') {
+            } else if ($sign == '/') {
                 if ($multiplier > 0) {
                     $PRICE /= $multiplier;
                 }
             }
         }
-        $row[ 'PRICE' ] = $PRICE;
+        $row['PRICE'] = $PRICE;
+
+        return $row;
+
+    }
+
+    public static function convertToArticul(array $row)
+    {
+        if (isset($row['ARTICLE']) && isset($row['BRAND']) && isset(self::$importer_id)) {
+
+            // 1. Уберем префикс который разделен пробелом (если он есть)
+            $words = explode(" ", $row['ARTICLE']);
+            if (count($words) > 1) {
+                array_shift($words);
+                $row['ARTICLE'] = implode(" ", $words);
+            }
+
+            // 2. Уберем брендовый префикс (если он есть)
+            $prefix = '';
+            // запрос закешируем
+            $prefix = ImportersPrefix::getDb()->cache( function ($db, $configuration, $row ) {
+                return ImportersPrefix::find()->where([ 'importer_id' => self::$importer_id,
+                    'brand' => $row['BRAND'] ])->one();
+                });
+            if ($prefix) {
+                $row['BRAND'] = str_replace($prefix, "", $row['BRAND']);
+            }
+        }
         return $row;
+    }
+
+    public static function convertToBrand($value)
+    {
+        $res = $value;
+        $res = trim(strtoupper($res));
+        $res = str_replace("Ä", "A", str_replace("Ö", "O", str_replace("Ü", "U", str_replace("Ë", "E", str_replace("Ò", "O", $res)))));
+        $res = str_replace(array('@', '#', '~', '"', "'", "?", "!"), '', $res);
+
+        return $res;
+    }
+
+    public static function convertToString($value)
+    {
+        $value = parent::convertToString($value);
+        return str_replace(array('!', '@', '#', '$', '%', '^', '&', '*', '(', ')', '_', '+', '=', '-', '~', '`', '"', "'", ' ', '№', '%', ';', ':', '[', ']', '{', '}', '*', '?', '/', '\'', '|', '.', ',', '<', '>', '\\'), '', $value);
     }
@@ -16,7 +16,7 @@ use yii\base\ErrorException;
 class CustomCsvParser extends  \yii\multiparser\CsvParser {
-    public $last_line = 10;
+    public $last_line = 100;
     //public $hasHeaderRow = true;
    // public $keys = ['first','second', 'third', 'forth', 'fifth'];
     public function setupConverter()
@@ -17,9 +17,11 @@
                      'hasKey' => 1,
                      'configuration' => ["string"   => 'DESCR',
                                          "float"   => 'PRICE',
+                                         "brand"   => 'BRAND',
                                         "integer"   => ['BOX','ADD_BOX'],
                                         "multiply"   => [],
-                                        "details"   => []   // @todo сделать отдельно конфигурирование валидации
+                                        "details"   => [],
+                                        "articul"   => []
                      ]
              ],],
@@ -32,8 +32,7 @@ class ParserController extends Controller
                 'importer_id' => $importer_id,
                 'parser_config' => ['keys' => $keys,
                     'converter_conf' =>
-                    ['sign' => $sign,
-                    'multiplier' => $multiplier],
+                    [ 'sign' => $sign, 'multiplier' => $multiplier, 'importer_id' => $importer_id ],
                     'mode' => 'console']
             ];
             if ($this->parseFileConsole($file_path, $config)) {
+<?php
+
+use yii\db\Schema;
+use yii\db\Migration;
+
+/**
+ * Class m151013_062829_deletePrefixFunction
+ * добавляем две функции - одна ищет префикс по поставщику и бренду,
+ * другая удаляет найденный префикс из переданного артикула
+ */
+class m151013_062829_deletePrefixFunction extends Migration
+{
+    public function safeUp()
+    {
+        $find_prefix = <<< SQL
+                CREATE FUNCTION FindPrefix(p_importer_id int, p_brand VARCHAR(100)) RETURNS VARCHAR(50)
+                BEGIN
+                    DECLARE _prefix varchar(10);
+
+                    select prefix into _prefix From w_importers_prefix where importer_id = p_importer_id and brand = p_brand COLLATE utf8_general_ci;
+
+                 RETURN (_prefix);
+                END
+SQL;
+
+        $delete_prefix = <<< SQL
+                CREATE FUNCTION DeletePrefix(p_articul VARCHAR(150), p_importer_id int, p_brand VARCHAR(100)) RETURNS VARCHAR(150)
+                BEGIN
+                    DECLARE _articul varchar(10);
+
+                 select substring(p_articul, LENGTH( FindPrefix( p_importer_id, p_brand ) ) + 1 ) into _articul;
+                 RETURN (_articul);
+                END
+SQL;
+
+        $this->execute($find_prefix);
+        $this->execute($delete_prefix);
+
+    }
+
+    public function safedown()
+    {
+
+        $find_prefix = <<< SQL
+               drop FUNCTION FindPrefix;
+SQL;
+
+        $delete_prefix = <<< SQL
+                drop FUNCTION DeletePrefix;
+SQL;
+
+        $this->execute($find_prefix);
+        $this->execute($delete_prefix);
+
+
+    }
+
+
+}