refactor CsvParser, add CustomCsvParser

Mihail
1 parent 999b9326
Showing 4 changed files with 95 additions and 72 deletions Show diff stats
backend/components/parsers/CsvParser.php
backend/components/parsers/CustomCsvParser.php
backend/components/parsers/Encoder.php
backend/components/parsers/ParserHandler.php
 <?php
 /**
- * Created by PhpStorm.
- * User: Cibermag
- * Date: 26.08.2015
- * Time: 17:00
- */
  
+ */
+//@ todo add exceptions
 namespace backend\components\parsers;
  
  
@@ -17,64 +14,70 @@ class CsvParser
 {
  
  
-    /** @var bool */
+    /** @var bool
+    имеет ли файл заголовок который будет установлен ключами возвращемого массива*/
     public $hasHeaderRow = false;
+    /** @var array - массив с заголовком,
+     * если не указан и установлено свойство $hasHeaderRow - будет определен автоматически */
+    public $keys;
  
-    /** @var resource */
+    /** @var экземляр SplFileObject читаемого файла */
     public $file;
  
-    /** @var out encoding charset */
-    public $out_charset = 'UTF-8';
-    /** @var out encoding charset */
-    public $in_charset = 'windows-1251';
-    /** @var int - first line for parsing */
+    /** @var int - первая строка с которой начинать парсить */
     public $first_line = 0;
-    public $last_line = 10;
  
-    /** @var int - first column for parsing */
+    /** @var int - последняя строка до которой  парсить
+     * если не указана, то парсинг происходит до конца файла*/
+    public $last_line = 0;
+
+    /** @var int - первая колонка файла с которой начнется парсинг */
     public $first_column = 0;
  
-    /** @var array - array of headers values */
-    public $keys;
+    /** @var string - разделитель csv */
     public $delimiter = ';';
-    public $auto_detect_start_position = false;
+
+    /** @var bool
+    нужно ли искать автоматически первоую значисмую строку (не пустая строка)
+     * иначе первая строка будет взята из аттрибута $first_line */
+    public $auto_detect_first_line = false;
+
+    /** @var int - количество значимых колонок, что бы определить первую значимую строку
+     * используется при автоопределении первой строки*/
     public $min_column_quantity = 5;
  
  
+    /**
+   метод устанвливает нужные настройки объекта SplFileObject, для работы с csv
+     */
     public function setup()
     {
-
         $this->file->setCsvControl($this->delimiter);
         $this->file->setFlags(\SplFileObject::READ_CSV);
         $this->file->setFlags(\SplFileObject::SKIP_EMPTY);
-//        $this->file->setFlags(\SplFileObject::READ_AHEAD);
-
-        if ($this->auto_detect_start_position) {
-            $this->first_line = $this->detectStartPosition();
+        if ($this->auto_detect_first_line) {
+            $this->shiftToFirstValuableLine();
         }
-    //    CustomVarDamp::dumpAndDie($this);
-//        echo  $this->file->key();
-//        $this->file->seek($this->first_line + 1);
-//        echo  $this->file->key();
-
-
     }
  
-
-    protected function detectStartPosition()
+    /**
+     * определяет первую значимую строку,
+     * считывается файл пока в нем не встретится строка с непустыми колонками
+     * в количестве указанном в атрибуте min_column_quantity
+     * в результате выполнения курсор ресурса будет находится на последней незначимой строке
+     */
+    protected function shiftToFirstValuableLine()
     {
-        $first_line = 0;
-        $find = false;
-        while (!$find) {
  
+        $finish = false;
+
+        while (!$finish) {
             $j = 0;
             $row = $this->readRow();
-
             if ($row === false) {
                 continue;
             }
  
-            $first_line++;
             for ($i = 1; $i <= count($row); $i++) {
  
                 if ($row[$i - 1] <> '') {
@@ -82,30 +85,25 @@ class CsvParser
                 }
  
                 if ($j >= $this->min_column_quantity) {
-                    $find = true;
-                    break;
+                    break 2;
                 }
             }
         }
-
-        return $first_line;
-
     }
  
     /**
-     * @return array
-     * @throws InvalidFileException
+     * @return array - итоговый двумерный массив с результатом парсинга
+     * метод считывает с открытого файла данные построчно
      */
     public function read()
     {
-        // @todo add comments
         $return = [];
-        //CustomVarDamp::dump(debug_print_backtrace(1,2));
-        $line = 0;
+
+        $current_line = 0;
         $this->keys = NULL;
-        CustomVarDamp::dump($this->file->key());
+
         while (($row = $this->readRow()) !== FALSE) {
-            $line++;
+            $current_line++;
  
             if ($this->hasHeaderRow) {
                 if ($this->keys === NULL) {
@@ -114,25 +112,25 @@ class CsvParser
  
                     if (count($this->keys) !== count($row)) {
 //
-                        Yii::warning("Invalid columns detected on line #$line .");
+                        Yii::warning("Invalid columns detected on line #$current_line .");
                         return $return;
                     }
  
                     $return[] = array_combine($this->keys, $row);
                 }
-            } else {
+            }
+            else
+            {
                 $return[] = $row;
             }
-            if(($this->last_line) && ($line > $this->last_line)){
-//                CustomVarDamp::dump($this->last_line);
-//                CustomVarDamp::dump($line);
+            // если у нас установлен лимит, при  его достижении прекращаем парсинг
+            if (($this->last_line) && ($current_line > $this->last_line)) {
                 break;
             }
  
         }
  
         $this->closeHandler();
-       //CustomVarDamp::dumpAndDie($return);
         return $return;
     }
  
@@ -142,20 +140,20 @@ class CsvParser
         $this->file = NULL;
     }
  
+    /**
+     * @return array - одномерный массив результата парсинга строки
+     */
     protected function readRow()
-        // @todo add comments
     {
  
         $row = $this->file->fgetcsv();
-        //
-        if (is_array($row)) {
-            //        $row = array_slice( $row, $this->first_column );
-            $row = Encoder::encodeArray($this->in_charset, $this->out_charset, $row);
+        if (is_array($row) && $this->first_column) {
+
+            $row = array_slice($row, $this->first_column);
+
         }
         if (is_null($row))
             $row = false;
-//        if ($this->keys !== NULL)
-//            @$clear_arr[3] = ValueFilter::pricefilter($clear_arr[3]);{}{}{}
  
         return $row;
  
+<?php
+/**
+ * Created by PhpStorm.
+ * User: Cibermag
+ * Date: 04.09.2015
+ * Time: 16:07
+ */
+
+namespace backend\components\parsers;
+
+
+class CustomCsvParser extends CsvParser {
+
+    protected function readRow()
+    {
+
+        $row = parent::readRow();
+
+        if (is_array($row)) {
+
+            $row = Encoder::encodeArray( Encoder::$in_charset, Encoder::$out_charset, $row );
+        }
+
+        return $row;
+
+    }
+
+}
 \ No newline at end of file
@@ -11,9 +11,10 @@ namespace backend\components\parsers;
 // @todo add comments
 class Encoder
 {
-    public static $in_charset;
-    public static $out_charset;
-
+    /** @var out encoding charset */
+    public static $out_charset = 'UTF-8';
+    /** @var out encoding charset */
+    public static $in_charset = 'windows-1251';
  
     public static function encodeFile($in_charset, $out_charset, $filePath)
     {
@@ -39,20 +39,16 @@ class ParserHandler {
  
     public function run(){
         if ($this->extension = 'csv'){
-            $first_line = isset( $this->options->first_line )? $this->options->first_line : 0;
-            $first_column = isset( $this->options->first_column )? $this->options->first_column : 0;
  
             $csvParser = Yii::createObject([
-                'class' => 'backend\components\parsers\CsvParser',
+                'class' => 'backend\components\parsers\CustomCsvParser',
                 'file' => $this->fileObject,
-                'auto_detect_start_position' => true,
+                'auto_detect_first_line' => true,
             ]);
-            //CustomVarDamp::dumpAndDie($csvParser);
-           // $csvParser = new CsvParser( );
-            $csvParser->setup(  );
  
-//            CustomVarDamp::dumpAndDie($data);
-            return $csvParser->read();;//
+            $csvParser->setup();
+
+            return $csvParser->read();
         };
     }
 }