add form, model and controller for uploaded crosses files (details_crosses

Mihail
1 parent 53edab28
Showing 10 changed files with 317 additions and 25 deletions Show diff stats
backend/controllers/CrossingUploadController.php
backend/controllers/ParserController.php
backend/models/DetailsCrosses.php
backend/models/UploadFileCrossingForm.php
backend/models/UploadFileParsingForm.php
backend/views/crossing-upload/index.php
backend/views/layouts/column.php
common/components/PriceWriter.php
common/components/parsers/CustomConverter.php
common/components/parsers/config.php
+<?php
+/**
+ * Created by PhpStorm.
+ * User: Tsurkanov
+ * Date: 15.10.2015
+ * Time: 12:27
+ */
+
+namespace backend\controllers;
+
+use backend\components\base\BaseController;
+use common\components\CustomVarDamp;
+use yii\filters\AccessControl;
+use backend\models\UploadFileCrossingForm;
+use backend\models\DetailsCrosses;
+use yii\web\UploadedFile;
+use \Yii;
+
+class CrossingUploadController extends BaseController
+{
+    public $layout = "/column";
+
+    /**
+     * @inheritdoc
+     */
+    public function behaviors()
+    {
+        return [
+            'access' => [
+                'class' => AccessControl::className(),
+                'rules' => [
+                    [
+                        'actions' => ['index', 'result'],
+                        'allow' => true,
+                        'roles' => ['@'],
+                    ],
+                ],
+            ],
+//            'verbs' => [
+//                'class' => VerbFilter::className(),
+//                'actions' => [
+//                    'logout' => ['post'],
+//                ],
+//            ],
+        ];
+    }
+
+    /**
+     * @inheritdoc
+     */
+    public function actions()
+    {
+        return [
+            'error' => [
+                'class' => 'yii\web\ErrorAction',
+            ],
+        ];
+    }
+
+
+    public function actionIndex()
+    {
+        $model = new UploadFileCrossingForm();
+        return $this->render('index', ['model' => $model]);
+    }
+
+    public function actionResult()
+    {
+        $model = new UploadFileCrossingForm();
+        $data = [];
+        if ($model->load(Yii::$app->request->post())) {
+            $model->file = UploadedFile::getInstance($model, 'file');
+
+            if ($model->validate()) {
+                $file_name = $model->file->name;
+                $model->file_path = Yii::getAlias('@temp_upload') . '/' . $file_name;
+
+                $model->file->saveAs($model->file_path);
+                //запускаем парсинг
+                // доп. опции для парсера - удаление префикса в артикулах
+                $options['mode'] = 'crosses';
+                $fields = [];
+                if ($model->delete_prefix1) {
+                    $fields[] = 'ARTICLE';
+                }
+                if ($model->delete_prefix2) {
+                    $fields[] = 'CROSS_ARTICLE';
+                }
+                if ( $fields ) {
+                    $options [ 'converter_conf' ] = [ 'configuration' => [ "article"   => $fields ,
+                                                        "string"   => ['ARTICLE', 'CROSS_ARTICLE'],] ];
+                } else {
+                    $options [ 'converter_conf' ] = [ 'configuration' => [ "string"   => ['ARTICLE', 'CROSS_ARTICLE'], ] ];
+                }
+
+                $data = $model->readFile( $options );
+                $crosses_model = new DetailsCrosses();
+                $crosses_model->ManualInsertWithIgnore( $data );
+
+                Yii::$app->session->setFlash('success', 'Файл кроссов успешно загружен');
+                return $this->render('index', ['model' => $model]);
+            }else{
+                // не прошла валидация форма загрузки файлов
+                $errors_str = '';
+                foreach ($model->getErrors() as $error) {
+                    $errors_str .= implode( array_values($error) );
+                }
+                throw new \ErrorException( $errors_str );
+            }
+
+        } else {
+            throw new \ErrorException( 'Ошибка загрузки данных' );
+        }
+    }
+}
 \ No newline at end of file
@@ -10,7 +10,6 @@ use backend\models\UploadFileParsingForm;
 use yii\web\UploadedFile;
 use yii\data\ArrayDataProvider;
 use yii\multiparser\DynamicFormHelper;
-use backend\components\parsers\CustomParserConfigurator;
 use backend\models\ImportersFiles;
 use backend\models\Importers;
 use yii\base\ErrorException;
@@ -2,6 +2,7 @@
 namespace backend\models;
+use common\components\CustomVarDamp;
 use Yii;
 /**
@@ -17,6 +18,10 @@ use Yii;
 class DetailsCrosses extends \backend\components\base\BaseActiveRecord
 {
     /**
+     * int - размер пакета запроса
+     */
+    const BATCH = 1000;
+    /**
      * @inheritdoc
      */
     public static function tableName()
@@ -50,4 +55,31 @@ class DetailsCrosses extends \backend\components\base\BaseActiveRecord
             'timestamp' => Yii::t('app', 'Timestamp'),
         ];
     }
+
+    /**
+     * вставка данных с игнором дублей прямым запросом SQL
+     * @param $data - массив вставляемых данный, вставка будет прозводится пакетами размером указанным в константе BATCH
+     * @throws \yii\db\Exception
+     */
+    //@todo - вынести все ручные инсерты в отдельный класс
+    public function ManualInsertWithIgnore( $data )
+    {
+        // \common\components\CustomVarDamp::dumpAndDie($data);
+        $table_name = self::tableName();
+        $keys_arr = array_keys($data[0]);
+
+        // запросы будем выполнять пакетами
+        // размер пакета установлен в константе
+        // разобъем массив на пакеты и будем их проходить
+        $data = array_chunk($data, $this::BATCH);
+        foreach ($data as $current_batch_array) {
+
+            //воспользуемся пакетной вставкой от фреймворка
+            $query = Yii::$app->db->createCommand()->batchInsert($table_name, $keys_arr, $current_batch_array)->sql;
+            // добавим ключевое слово - ignore
+            $query = preg_replace('/INSERT/','INSERT IGNORE', $query);
+            Yii::$app->db->createCommand($query)->execute();
+
+        }
+    }
 }
+<?php
+namespace backend\models;
+
+use yii\base\ErrorException;
+use yii\base\Model;
+use yii\web\UploadedFile;
+use Yii;
+use common\components\CustomVarDamp;
+
+/**
+ * UploadForm is the model behind the upload form.
+ */
+class UploadFileCrossingForm extends Model
+{
+    /**
+     * @var UploadedFile file attribute
+     */
+    // атрибуты формы
+    public $file;
+    public $delete_prefix1;
+    public $delete_prefix2;
+    public $file_path;
+
+
+
+    public function rules()
+    {
+        return [
+            ['file', 'required', 'message' => 'Не выбран файл!' ],
+            [['file'], 'file', 'extensions' => 'csv', 'checkExtensionByMimeType'=>false ],
+            [['delete_prefix1', 'delete_prefix2'], 'boolean' ],
+
+        ];
+    }
+
+    public function attributeLabels()
+    {
+        return [
+            'file' => Yii::t('app', 'Источник'),
+            'delete_prefix1' => Yii::t('app', 'Удалять префикс в артикуле товара 1'),
+            'delete_prefix2' => Yii::t('app', 'Удалять префикс в артикуле товара 2'),
+        ];
+    }
+
+    public function readFile( $options = [] ){
+
+        $data = Yii::$app->multiparser->parse( $this->file_path, $options );
+        if( !is_array( $data ) ){
+            throw new ErrorException("Ошибка чтения из файла кроссов {$this->file_path}");
+        }
+        // файл больше не нужен - данные прочитаны и сохранены в кеш
+       if( file_exists($this->file_path) )
+            unlink($this->file_path);
+
+        return $data;
+    }
+
+    public function fields()
+    {
+        return [
+
+            'delete_price1',
+            'delete_price2'
+
+        ];
+    }
+
+
+}
 \ No newline at end of file
@@ -48,9 +48,7 @@ class UploadFileParsingForm extends Model
         return [
             ['importer_id', 'required', 'message' => 'Не указан поставщик!' ],
             ['file', 'required', 'message' => 'Не выбран файл!' ],
-            //@todo - not working this file validator!!! - fixed
-            [['file'], 'file'],// 'extensions' => ['csv', 'xml'] ],
- //               'wrongMimeType' => 'Указан неподдерживаемый тип файла. Можно выбирать csv, xml файлы.' ],
+            [['file'], 'file', 'extensions' => ['csv', 'xml'], 'checkExtensionByMimeType'=>false ],
             ['importer_id', 'integer','max' => 999999, 'min' => 0 ],
             [['action','delete_prefix', 'delete_price', 'success'], 'boolean', 'except' => 'auto' ], // только для ручной загрузки
             ['delimiter', 'string', 'max' => 1],
+<?php
+use yii\widgets\ActiveForm;
+use yii\helpers\Html;
+use yii\helpers\ArrayHelper;
+
+?>
+<div class="row">
+    <div class="col-lg-5">
+        <?php $form = ActiveForm::begin(['options' => ['enctype' => 'multipart/form-data',],'action'=>['crossing-upload/result']]);
+
+        if ($msg = \Yii::$app->session->getFlash('success')) { // вернулись после успешной загрузки данного файла
+            echo Html::tag('h3', $msg ,['class'=>'bg-success']);
+        }
+        ?>
+        <h3>Кросс файлы</h3>
+
+        <?= $form->field($model, 'delete_prefix1')->checkbox() ?>
+        <?= $form->field($model, 'delete_prefix2')->checkbox() ?>
+        <?= $form->field($model, 'file')->fileInput()->label(false) ?>
+
+        <div class="form-group">
+            <?= Html::submitButton(Yii::t( 'app', 'Выполнить' ), ['class' => 'btn btn-primary']) ?>
+        </div>
+
+        <?php ActiveForm::end() ?>
+    </div>
+</div>
+
@@ -283,6 +283,7 @@ $this-&gt;beginContent(&#39;@app/views/layouts/main.php&#39;);
                     'options' => ['class' => 'sidebar-menu'],
                     'items' => [
                         ['label' => "Загрузка файлов", 'url' => ['#'], 'items' => [
+                            ['label' => 'Кросс-файлы', 'url' => ['crossing-upload/index']],
                             ['label' => 'Файлы на сервере', 'url' => ['parser/server-files']],
                             ['label' => 'Загрузить файл на сервер', 'url' => ['parser/index', 'mode' => 1]],
                             ['label' => 'Ручная загрузка', 'url' => ['parser/index']],
@@ -65,8 +65,15 @@ class PriceWriter
                 $row['PRICE'] = \Yii::$app->multiparser->convertToFloat($row['PRICE']);
                 $row['BOX'] = \Yii::$app->multiparser->convertToInteger($row['BOX']);
                 // присвоим полный артикул
+
                 $row['FULL_ARTICLE'] = $row['ARTICLE'];
-                $row['ARTICLE'] = \Yii::$app->multiparser->convertToArticle( $row );
+                if ((int)$this->configuration['delete_prefix']) {
+                    $row = \Yii::$app->multiparser->convertToArticle( $row, $this->configuration['importer_id'] );
+                } else {
+                    $row['ARTICLE'] = \Yii::$app->multiparser->convertToArticle( $row['ARTICLE'] );
+                }
+
+
                 if (isset($row['ADD_BOX']))
                     $row['ADD_BOX'] = \Yii::$app->multiparser->convertToInteger($row['ADD_BOX']);
@@ -84,9 +91,6 @@ class PriceWriter
         try {
             //@todo add transaction
-            if ((int)$this->configuration['delete_prefix']) {
-                $details_model->delete_prefix = true;
-            }
             if ((int)$this->configuration['delete_price']) {
                 $details_model->delete_price = true;
             }
@@ -4,6 +4,7 @@ namespace common\components\parsers;
 use common\components\CustomVarDamp;
 use yii\multiparser\Converter;
 use backend\models\Details;
+use backend\models\DetailsCrosses;
 use backend\models\ImportersPrefix;
 class CustomConverter extends Converter
@@ -93,6 +94,22 @@ class CustomConverter extends Converter
         return $row;
     }
+    public static function convertToCrosses( array $row )
+    {
+
+        $details_model = new DetailsCrosses();
+        // проверим все ли обязательные колонки были указаны пользователем
+        $details_model->load(['DetailsCrosses' => $row]);
+
+        if (!$details_model->validate()) {
+            $errors = '';
+            foreach ($details_model->errors as $key => $arr_errors) {
+                $errors .= "Аттрибут $key - " . implode(' , ', $arr_errors);
+            }
+            throw new \ErrorException($errors);
+        }
+        return $row;
+    }
     public function ConvertToMultiply(array $row)
     {
         $PRICE = $row['PRICE'];
@@ -125,31 +142,47 @@ class CustomConverter extends Converter
     }
-    public static function convertToArticle( array $row )
+    public static function convertToArticle( $value, $importer_id = '' )
     {
-        if ( isset($row['ARTICLE']) ) {
+        if(isset( $importer_id )){
+            self::$importer_id = $importer_id;
+        }
+
+        if (is_array($value)) {
+            $row = $value;
             // 1. Уберем префикс который разделен пробелом (если он есть)
             $words = explode(" ", $row['ARTICLE']);
             if (count($words) > 1) {
                 array_shift($words);
                 $row['ARTICLE'] = implode(" ", $words);
             }
-        }
-        if( isset( $row['BRAND'] ) && isset( self::$importer_id ) ){
-            // 2. Уберем брендовый префикс (если он есть)
-            $prefix = '';
-            // запрос закешируем
-            $prefix = ImportersPrefix::getDb()->cache( function ($db, $configuration, $row ) {
-                return ImportersPrefix::find()->where([ 'importer_id' => self::$importer_id,
-                    'brand' => $row['BRAND'] ])->one();
+
+            if( isset( $row['BRAND'] ) && isset( self::$importer_id ) ){
+                // 2. Уберем брендовый префикс (если он есть)
+                $prefix = '';
+                // запрос закешируем
+                $prefix = ImportersPrefix::getDb()->cache( function ($db, $configuration, $row ) {
+                    return ImportersPrefix::find()->where([ 'importer_id' => self::$importer_id,
+                        'brand' => $row['BRAND'] ])->one();
                 });
-            if ($prefix) {
-                $row['BRAND'] = str_replace($prefix, "", $row['BRAND']);
+                if ($prefix) {
+                    $row['BRAND'] = str_replace($prefix, "", $row['BRAND']);
+                }
             }
+
+            return $row;
+
+        } else {
+            $words = explode( " ", $value );
+            if ( count( $words ) > 1) {
+                array_shift( $words );
+                $value = implode( " ", $words );
+            }
+
+            return $value;
         }
-        return $row;
     }
     public static function convertToBrand($value)
@@ -17,12 +17,11 @@
                      'hasKey' => 1,
                      'configuration' => ["string"   => 'DESCR',
                                          "float"   => 'PRICE',
-                                         "brand"   => 'BRAND[',
+                                         "brand"   => 'BRAND',
                                         "integer"   => ['BOX','ADD_BOX'],
                                         "multiply"   => [],
-                                        "details"   => [],
-                                        "article"   => []
-
+                                        "article"   => [],
+                                        "details"   => []
                      ]
              ],],
@@ -36,6 +35,20 @@
                  "ADD_BOX"=> 'В пути',
                  "GROUP"  => 'Группа RG'
              ],
+
+             'crosses' =>  ['class' => 'common\components\parsers\CustomCsvParser',
+                 'auto_detect_first_line' => true,
+                 'min_column_quantity' => 4,
+                 'hasHeaderRow' => true,
+                 'keys' =>['ARTICLE', 'CROSS_ARTICLE', 'BRAND', 'CROSS_BRAND'],
+                 'converter_conf' => [
+                     //'class' => ' common\components\parsers\CustomConverter',
+                     'hasKey' => 1,
+                     'configuration' => [
+                         "brand"   => ['BRAND', 'CROSS_BRAND'],
+                         "crosses"   => [],
+                     ]
+                 ],],
              ],
       'xml' =>
          ['console' =>