fixed errors with parsing

Mihail
1 parent 6f678cad
Showing 10 changed files with 29 additions and 38 deletions Show diff stats
backend/controllers/ParserController.php
backend/controllers/RgGrupController.php
backend/models/Details.php
backend/models/ImportersPrefix.php
backend/models/UploadFileCrossingForm.php
backend/models/UploadFileParsingForm.php
backend/views/rg-grup/index.php
common/components/parsers/CustomCsvParser.php
console/config/main.php
console/controllers/ParserController.php
@@ -291,4 +291,5 @@ class ParserController extends BaseController
     }
+
 }
@@ -193,11 +193,11 @@ class RgGrupController extends BaseController
     }
-    public function actionMail()
-    {
-        $mail_saver = new MailAttachmentsSaver('{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'tsurkanovm@gmail.com', 'Wtvr@2000');
-        //$mail_saver = new MailAttachmentsSaver('{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'price@italauto.com.ua', '67853562');
-        $mail_saver->saveAttachmentsTo();
-    }
+//    public function actionMail()
+//    {
+//        $mail_saver = new MailAttachmentsSaver('{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'tsurkanovm@gmail.com', 'Wtvr@2000');
+//        //$mail_saver = new MailAttachmentsSaver('{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'price@italauto.com.ua', '67853562');
+//        $mail_saver->saveAttachmentsTo();
+//    }
 }
@@ -132,9 +132,7 @@ class Details extends BaseActiveRecord
             //воспользуемся пакетной вставкой от фреймворка
             $query_insert = Yii::$app->db->createCommand()->batchInsert($table_name, $keys_arr, $current_batch_array)->sql;
-            if ($this->delete_prefix) {
-                $query_insert = $this->prepareArticul( $query_insert );
-            }
+
             // добавим фрагмент с апдейтом при дубляже
             $query = "{$query_insert} {$query_update}";
             // \common\components\CustomVarDamp::dumpAndDie($query);
@@ -17,6 +17,11 @@ use backend\models\Importers;
 class ImportersPrefix extends \backend\components\base\BaseActiveRecord
 {
+    public static function tableName()
+    {
+        return 'w_importers_prefix';
+    }
+
     /**
      * @inheritdoc
      */
@@ -49,8 +49,8 @@ class UploadFileCrossingForm extends Model
             throw new ErrorException("Ошибка чтения из файла кроссов {$this->file_path}");
         }
         // файл больше не нужен - данные прочитаны и сохранены в кеш
-       if( file_exists($this->file_path) )
-            unlink($this->file_path);
+//       if( file_exists($this->file_path) )
+//            unlink($this->file_path);
         return $data;
     }
@@ -78,7 +78,7 @@ class UploadFileParsingForm extends Model
         // файл больше не нужен - данные прочитаны и сохранены в кеш
         if( file_exists($this->file_path) )
             //@ todo - перестало работать - нет доступа на удалениев этом сеансе, в следующем - файл удаляется - разобраться
-            //unlink( $this->file_path );
+           // unlink( $this->file_path );
         return $data;
@@ -99,4 +99,5 @@ class UploadFileParsingForm extends Model
     }
+
 }
 \ No newline at end of file
@@ -29,6 +29,5 @@ $button_label = &#39;Прочитать&#39;;
         <?php ActiveForm::end() ?>
     </div>
-    <?= Html::a('Почта', ['rg-grup/mail'], ['class' => 'btn btn-primary', 'name' => 'Mail',]) ?>
 </div>
@@ -8,29 +8,12 @@
 namespace common\components\parsers;
-
-use common\components\CustomVarDamp;
-
-use yii\base\ErrorException;
-
-
 class CustomCsvParser extends  \yii\multiparser\CsvParser {
-    public $last_line = 10;
+   // public $last_line = 10;
     //public $hasHeaderRow = true;
    // public $keys = ['first','second', 'third', 'forth', 'fifth'];
-//    public function setupConverter()
-//    {
-//        if (!count($this->converter_conf)) {
-//            if ($this->hasHeaderRow) {
-//                // если у файла есть заголовок, то в результате имеем ассоциативный массив
-//                $this->converter_conf['hasKey'] = 1;
-//
-//            }
-//
-//        }
-////        $this->converter = \Yii::createObject( $this->converter_conf );
-//    }
+
@@ -22,13 +22,13 @@ return [
                     'class' => 'yii\log\FileTarget',
                     'logFile' => __DIR__ . '/../runtime/logs/parser.log',
                     'levels' => ['info', 'error'],
-                    'categories' => ['yii\base\ErrorException:*', 'parser'],
+                    'categories' => ['parser'],
                     'logVars' => [],
                 ],
                 [
                     'class' => 'yii\log\FileTarget',
                     'logFile' => __DIR__ . '/../runtime/logs/mail.log',
-                    'levels' => ['info', 'error'],
+                    'levels' => ['info', 'error', 'warning'],
                     'categories' => ['yii\base\ErrorException:*', 'mail'],
                     'logVars' => [],
                 ],
@@ -133,19 +133,23 @@ class ParserController extends Controller
         $mail_reader = new ImapMailReader( '{imap.gmail.com:993/imap/ssl/novalidate-cert}', 'tsurkanovm@gmail.com', 'Wtvr@2000' );
         // 1. получим все вложения
+        \Yii::info('Начало сохранения файлов почты', 'mail');
         $files = $this->getMailAttachments( $mail_reader, $importer_id_prefix );
-        // 2. если в вложениях есть архивы - распакуем их и дополним итоговый массив
-        $this->UnpackFiles( $files );
-
         if ( !$files ) {
             // нет файлов в ящиках (не было вложений в письмах)
-            \Yii::info('Вложений не найдено', 'mail');
+            \Yii::warning('Вложений не найдено', 'mail');
             return;
         }
+        // 2. если в вложениях есть архивы - распакуем их и дополним итоговый массив
+        \Yii::info('Запуск распаковки архивов...', 'mail');
+        $this->UnpackFiles( $files );
+
+
         // 3. переименуем, зарегистрируем прайсы и перенесем извлеченные файлы
         // укажем папку куда нужно перенести все извлеченные вложения
+        \Yii::info('Запуск перемещения и регистрации прайсов...', 'mail');
         $new_destination = \Yii::getAlias('@auto_upload')  . '/';
         $this->registerAndReplaceFiles( $files, $new_destination );