add first version XML parser, add CSVconverter

Mihail
1 parent 474f35bf
Showing 16 changed files with 451 additions and 116 deletions Show diff stats
backend/components/parsers/CustomCsvParser.php
backend/components/parsers/CustomParserConfigurator.php
backend/components/parsers/ValueFilter.php
backend/components/parsers/config.php
backend/config/main.php
backend/controllers/ParserController.php
backend/views/parser/results.php
vendor/yiisoft/multiparser/CSVConverter.php
vendor/yiisoft/multiparser/CsvParser.php
backend/components/parsers/DynamicFormHelper.php → vendor/yiisoft/multiparser/DynamicFormHelper.php
backend/components/parsers/Encoder.php → vendor/yiisoft/multiparser/Encoder.php
vendor/yiisoft/multiparser/ParserConfigurator.php
vendor/yiisoft/multiparser/XmlParser.php
vendor/yiisoft/multiparser/YiiMultiparser.php
vendor/yiisoft/multiparser/YiiParserHandler.php
vendor/yiisoft/multiparser/config.php
@@ -14,20 +14,19 @@ class CustomCsvParser extends  \yii\multiparser\CsvParser {
     //public $last_line = 10;
     //public $hasHeaderRow = true;
    // public $keys = ['first','second', 'third', 'forth', 'fifth'];
-
-
-    protected function readRow()
+    public function setupConverter()
     {
-        $row = parent::readRow();
-        if (is_array($row)) {
-
-            $row = Encoder::encodeArray( Encoder::$in_charset, Encoder::$out_charset, $row );
+        if ($this->hasHeaderRow) {
+            // если у файла есть заголовок, то в результате имеем ассоциативный массив
+            $this->converter_conf['hasKey'] = 1;
         }
-        return $row;
+        $this->converter = \Yii::createObject($this->converter_conf);
+         \common\components\CustomVarDamp::dumpAndDie($this);
     }
+
 }
 \ No newline at end of file
-<?php
-
-namespace backend\components\parsers;
-use yii\multiparser\ParserConfigurator;
-
-class CustomParserConfigurator extends ParserConfigurator
-{
-
-    protected static $configuration = [
-        'csv' =>
-            ['web' =>
-                ['class' => 'backend\components\parsers\CustomCsvParser',
-                    'auto_detect_first_line' => true,]]];
-
-
-
-    public static $basic_column = [
-        "BRAND"  => 'Бренд',
-        "ARTICLE"=> 'Артикул',
-        "PRICE"  => 'Цена',
-        "DESCR"  => 'Наименование',
-        "BOX"    => 'Колво',
-        "ADD_BOX"=> 'В пути',
-        "GROUP"  => 'Группа RG'
-    ];
-
-
-}
 \ No newline at end of file
-<?php
-/**
- * Created by PhpStorm.
- * User: Cibermag
- * Date: 31.08.2015
- * Time: 12:50
- */
-
-namespace backend\components\parsers;
-
-// класс который содержит преобразователи значений (фильтры) используемые при парсинге
-class ValueFilter
-{
-
-    public static function pricefilter($str)
-    {
-        if ($str == '') {
-            $str = 0;
-        }
-        $str = trim(str_replace(",", ".", $str));
-        $str = preg_replace("/[^0-9.]+/", "", strtoupper($str));
-
-        if ($str == '') {
-            return '';
-        }
-        $str = round( (float)$str, 2 );
-
-        return $str;
-    }
-
-    public static function boxfilter($str)
-    {
-        if ($str == '') {
-            $str = 0;
-        }
-        $str = trim(str_replace(",", ".", $str));
-        $str = preg_replace("/[^0-9.]+/", "", strtoupper($str));
-        if ($str == '') {
-            return '';
-        }
-        $str = round((int)$str, 2);
-
-        return $str;
-    }
-}
 \ No newline at end of file
+<?php
+ return [
+     'csv' =>
+         ['web' =>
+             ['class' => 'backend\components\parsers\CustomCsvParser',
+                 'auto_detect_first_line' => true,
+                 'converter_conf' => ['class' => 'yii\multiparser\CsvConverter',
+                     'configuration' => [
+                 "string"   => 'DESCR'
+             ]
+                     ,]],
+
+             'basic_column' => [
+                 "BRAND"  => 'Бренд',
+                 "ARTICLE"=> 'Артикул',
+                 "PRICE"  => 'Цена',
+                 "DESCR"  => 'Наименование',
+                 "BOX"    => 'Колво',
+                 "ADD_BOX"=> 'В пути',
+                 "GROUP"  => 'Группа RG'
+             ],
+             ]];
+
+
+//[
+//    "float"   => 'PRICE',
+//    "integer" => ['BOX' , 'ADD_BOX' ],
+//    "prefix"  => 'ARTICLE'
+//]
 \ No newline at end of file
@@ -5,6 +5,7 @@ $params = array_merge(
     require(__DIR__ . '/params.php'),
     require(__DIR__ . '/params-local.php')
 );
+$mp_configuration = require( __DIR__ . '/../components/parsers/config.php');
 return [
     'id' => 'app-backend',
@@ -41,6 +42,7 @@ return [
         'multiparser'=>[
             'class' => 'yii\multiparser\YiiMultiparser',
+            'configuration' => $mp_configuration,
         ],
     ],
@@ -8,7 +8,7 @@ use yii\filters\VerbFilter;
 use backend\models\UploadFileParsingForm;
 use yii\web\UploadedFile;
 use yii\data\ArrayDataProvider;
-use backend\components\parsers\DynamicFormHelper;
+use yii\multiparser\DynamicFormHelper;
 use backend\components\parsers\CustomParserConfigurator;
 use common\components\CustomVarDamp;
@@ -96,13 +96,14 @@ class ParserController extends BaseController
             ],
         ]);
+       // CustomVarDamp::dumpAndDie($data);
         $header_model = DynamicFormHelper::CreateDynamicModel( count( $data[0] ) );
-        //CustomVarDamp::dumpAndDie($header_model);
+     //   CustomVarDamp::dumpAndDie(Yii::$app->multiparser->getConfiguration('csv','basic_column'));
         return $this->render('results',
             ['model' => $data,
                 'header_model' => $header_model,
-                'basic_column' => CustomParserConfigurator::$basic_column,
+                'basic_column' =>  Yii::$app->multiparser->getConfiguration('csv','basic_column'),
                 'dataProvider' => $provider]);
     }
@@ -113,7 +114,7 @@ public function actionWrite()
     $arr_attributes = Yii::$app->request->post()['DynamicModel'];
     $model = DynamicFormHelper::CreateDynamicModel( $arr_attributes );
     foreach ($arr_attributes as $key => $value) {
-        $model->addRule($key, 'in', ['range' => array_keys( CustomParserConfigurator::$basic_column )]);
+        $model->addRule($key, 'in', ['range' => array_keys( Yii::$app->multiparser->getConfiguration('csv','basic_column') )]);
     }
     //CustomVarDamp::dumpAndDie($model);
 <?php
 use yii\helpers\Html;
-use backend\components\parsers\DynamicFormHelper;
+use yii\multiparser\DynamicFormHelper;
 use yii\widgets\ActiveForm;
@@ -20,7 +20,7 @@ $this-&gt;params[&#39;breadcrumbs&#39;][] = $this-&gt;title;
     $form = ActiveForm::begin(['action' => 'write']);
         ?>
-    <?= DynamicFormHelper::CreateDynamicGridViewWithDropDownListHeader( $dataProvider, $form, $header_model, $basic_column )?>
+    <?= DynamicFormHelper::CreateGridWithDropDownListHeader( $dataProvider, $form, $header_model, $basic_column )?>
     <div class="form-group">
         <?= Html::submitButton(Yii::t('app', 'Записать в БД'), ['class' => 'btn btn-primary']) ?>
+<?php
+/**
+* Created by PhpStorm.
+ * User: Cibermag
+* Date: 31.08.2015
+* Time: 12:50
+*/
+
+namespace yii\multiparser;
+
+// класс который содержит преобразователи значений (фильтры) используемые при парсинге
+class CSVConverter
+{
+
+    protected static $method_prefix = 'convertTo';
+
+    public static $configuration = [];
+
+    protected static function convertToFloat($value)
+    {
+
+        if ($value == '') {
+            $value = 0;
+        }
+        $value = trim(str_replace(",", ".", $value));
+        $value = preg_replace("/[^0-9.]+/", "", strtoupper($value));
+
+        if ($value == '') {
+            return '';
+        }
+        $value = round( (float)$value, 2 );
+
+        return $value;
+    }
+
+    protected static function convertToInteger($value)
+    {
+        if ($value == '') {
+            $value = 0;
+        }
+        $value = trim(str_replace(",", ".", $value));
+        $value = preg_replace("/[^0-9.]+/", "", strtoupper($value));
+        if ($value == '') {
+            return '';
+        }
+        $value = round((int)$value, 2);
+
+        return $value;
+    }
+
+    protected static function convertToString($value)
+    {
+        $res = '';
+        if (is_array($value)) {
+
+            $res = Encoder::encodeArray($value);
+
+        }elseif ( is_string($value) ) {
+
+            $res = Encoder::encodeString($value);
+
+        }
+
+        return $res;
+    }
+
+
+    /**
+     * @param $name - имя метода конвертации
+     * @param $value - значение на конвертацию
+     * @return mixed
+     */
+    public static function __callStatic( $name, $value )
+    {
+        $method_name =  self::$method_prefix . $name;
+        if ( is_callable( $method_name ) ) {
+
+            self::$method_name( $value );
+
+        } else{
+            // если такого метода конвертации не предусмотрено, то возвращаем не конвертируя
+            return $value;
+
+        }
+    }
+
+
+    /**
+     * @param $arr - массив
+     * @return mixed
+     * конвертирует массив по полученным настройкам, вызывая последовательно функции конвертации (указанные в конфигурации)
+     */
+    public static function convertByConfiguration( $arr  )
+    {
+        $result = $arr;
+
+        $hasKey = isset( self::$configuration['hasKey'] );
+
+        foreach ( self::$configuration as $key => $value ) {
+
+            if ( $hasKey ){
+                //  у нас ассоциативный массив, и мы можем конвертировать каждое значение в отдельности
+                if ( is_array( $value ) ) {
+                    foreach ($value as $sub_value) {
+                        if (isset($arr[$sub_value])) {
+                            // конвертируем только те ячейки которые сопоставлены в прочитанном массиве с колонками в конфигурационном файле
+                            $result[$arr[$sub_value]] = self::$key( $arr[$sub_value] );
+                        }
+
+                    }
+                } else {
+
+                    if (isset($arr[$value])) {
+                        // конвертируем только те ячейки которые сопоставлены в прочитанном массиве с колонками в конфигурационном файле
+                        $result[$arr[$value]] = self::$key( $arr[$value] );
+                    }
+
+                }
+
+            } else {
+                // нет заголовка - мы можем конвертировать только с року в целом
+                $result = self::$key( $arr );
+            }
+
+        }
+
+        return $result;
+    }
+
+
+}
 \ No newline at end of file
@@ -45,10 +45,14 @@ class CsvParser implements ParserInterface
      * используется при автоопределении первой строки*/
     public $min_column_quantity = 5;
+    /** @var array - конфигурация конвертера значений */
+    public $converter_conf = [];
+    /** @var array - конвертер созданный по конфигурации */
+    public $converter = NULL;
     /**
-   метод устанвливает нужные настройки объекта SplFileObject, для работы с csv
+     * метод устанвливает нужные настройки объекта SplFileObject, для работы с csv
      */
     public function setup()
     {
@@ -58,9 +62,27 @@ class CsvParser implements ParserInterface
         if ($this->auto_detect_first_line) {
             $this->shiftToFirstValuableLine();
         }
+        $this->setupConverter();
+
     }
     /**
+     * устанавливает конвертер значений согласно конфигурационным настройкам
+     */
+    public function setupConverter()
+    {
+        if (!count($this->converter_conf)) {
+            $this->converter = new CSVConverter();
+            if ($this->hasHeaderRow) {
+                // если у файла есть заголовок, то в результате имеем ассоциативный массив
+                $this->converter_conf['hasKey'] = 1;
+            }
+            $this->converter->configuration = $this->converter_conf;
+        }
+    }
+
+
+    /**
      * определяет первую значимую строку,
      * считывается файл пока в нем не встретится строка с непустыми колонками
      * в количестве указанном в атрибуте min_column_quantity
@@ -112,14 +134,12 @@ class CsvParser implements ParserInterface
                     if (count($this->keys) !== count($row)) {
 //
-                        throw new \ErrorException( "Invalid columns detected on line # {$current_line}", 0, 1, $this->file->getBasename(), $current_line);
+                        throw new \ErrorException("Invalid columns detected on line # {$current_line}", 0, 1, $this->file->getBasename(), $current_line);
                     }
                     $return[] = array_combine($this->keys, $row);
                 }
-            }
-            else
-            {
+            } else {
                 $return[] = $row;
             }
             // если у нас установлен лимит, при  его достижении прекращаем парсинг
@@ -134,7 +154,6 @@ class CsvParser implements ParserInterface
     }
-
     protected function closeHandler()
     {
         $this->file = NULL;
@@ -147,10 +166,15 @@ class CsvParser implements ParserInterface
     {
         $row = $this->file->fgetcsv();
-        if (is_array($row) && $this->first_column) {
+        if (is_array($row)) {
+            // попытаемся конвертировать прочитанные занчения согдасно конфигурации котнвертера значений
+            $row = $this->convert($row);
+
+            if ($this->first_column) {
-            $row = array_slice($row, $this->first_column);
+                $row = array_slice($row, $this->first_column);
+            }
         }
         if (is_null($row))
             $row = false;
@@ -159,5 +183,27 @@ class CsvParser implements ParserInterface
     }
+    /**
+     * @param $arr
+     * @return mixed
+     * преобразовует значения прочитанного массива в нужные типы, согласно конфигурации конвертера
+     */
+    protected function convert($arr)
+    {
+        $result = $arr;
+        $converter = $this->converter;
+
+         //\common\components\CustomVarDamp::dumpAndDie($this);
+
+        if (!is_null($converter)) {
+
+            $result = $converter::convertByConfiguration($arr);
+
+        }
+
+        return $result;
+
+    }
+
 }
 \ No newline at end of file
@@ -6,7 +6,7 @@
  * Time: 14:50
  */
-namespace backend\components\parsers;
+namespace yii\multiparser;
 use yii\base\DynamicModel;
 use yii\grid\GridView;
@@ -48,8 +48,8 @@ class DynamicFormHelper
         return $model;
     }
-    // @todo - rewrite on two functions, add comments
-    public static function CreateDynamicGridViewWithDropDownListHeader( $dataProvider, $form, $header_model, $arr_header_values )
+    // @todo add comments
+    public static function CreateGridWithDropDownListHeader( $dataProvider, $form, $header_model, $arr_header_values )
     {
         $columns_config = [['class' => SerialColumn::className()]];
         $i = 0;
@@ -59,8 +59,6 @@ class DynamicFormHelper
             $i++;
         }
-        //\common\components\CustomVarDamp::dumpAndDie($columns_config);
-
         $dynamic_grid_view = GridView::widget( ['dataProvider' => $dataProvider,
                                                 'columns' => $columns_config ] );
@@ -6,7 +6,7 @@
  * Time: 13:36
  */
-namespace backend\components\parsers;
+namespace yii\multiparser;
 // @todo add comments
 class Encoder
@@ -26,16 +26,18 @@ class Encoder
         @fclose($file);
     }
-    public static function encodeArray($in_charset, $out_charset, $array)
+    public static function encodeArray( $array, $in_charset = '', $out_charset = '')
     {
+        if (isset($in_charset))
+        self::$in_charset = isset($in_charset);
-        self::$in_charset = $in_charset;
+        if (isset($out_charset))
         self::$out_charset = $out_charset;
         $result = array_map(
             function ( $array) {
-                return self::encode( self::$in_charset, self::$out_charset, $array );
+                return self::encodeString( $array, self::$in_charset, self::$out_charset );
             },
             $array);
@@ -43,9 +45,15 @@ class Encoder
         return $result;
     }
-    private static function encode( $in_charset, $out_charset, $source ){
+    public static function encodeString( $source, $in_charset = '', $out_charset = '' ){
-        return iconv($in_charset, $out_charset, $source);
+        if (isset($in_charset))
+            self::$in_charset = isset($in_charset);
+
+        if (isset($out_charset))
+            self::$out_charset = $out_charset;
+
+        return iconv( self::$in_charset, self::$out_charset, $source );
     }
 }
 \ No newline at end of file
@@ -4,23 +4,29 @@ namespace yii\multiparser;
 class ParserConfigurator
 {
-    protected static $configuration = [
-        'csv' =>
-            ['web' =>
-                ['class' => 'backend\components\parsers\CustomCsvParser',
-                    'auto_detect_first_line' => true,]]];
+    protected static  $configuration;
-
-    public static function getConfiguration($extension, $mode)
+    public static function getConfiguration($extension, $parameter)
     {
+        self::setConfiguration();
+
         if (!isset( self::$configuration[$extension] )){
             throw new \ErrorException( "Parser do not maintain file with extension  {$extension}");
         }
-        if (!isset( self::$configuration[$extension][$mode] )){
-            throw new \ErrorException( "Parser configurator do not have settings for {$mode} mode");
+        if (!isset( self::$configuration[$extension][$parameter] )){
+            throw new \ErrorException( "Parser configurator do not have settings for {$parameter} parameter");
         }
-        return self::$configuration[$extension][$mode];
+        return self::$configuration[$extension][$parameter];
     }
+ protected static function setConfiguration()
+    {
+
+       self::$configuration = require(__DIR__ . '/config.php');
+
+    }
+
+
+
 }
 \ No newline at end of file
+<?php
+/**
+ * Created by PhpStorm.
+ * User: Cibermag
+ * Date: 10.09.2015
+ * Time: 17:47
+ */
+
+namespace yii\multiparser;
+
+
+class XmlParser implements ParserInterface{
+    public function read()
+    {
+        // TODO: Implement read() method.
+    }
+
+    public function setup()
+    {
+        // TODO: Implement setup() method.
+    }
+
+
+    /**
+     * Converts an XML string to a PHP array
+     * See http://phpsecurity.readthedocs.org/en/latest/Injection-Attacks.html#xml-external-entity-injection
+     *
+     * @uses recursiveXMLToArray()
+     * @param string $val
+     * @param boolean $disableDoctypes Disables the use of DOCTYPE, and will trigger an error if encountered.
+     * false by default.
+     * @param boolean $disableExternals Disables the loading of external entities. false by default.
+     * @return array
+     */
+    public static function xml2array($val, $disableDoctypes = false, $disableExternals = false) {
+        // Check doctype
+        if($disableDoctypes && preg_match('/\<\!DOCTYPE.+]\>/', $val)) {
+            throw new InvalidArgumentException('XML Doctype parsing disabled');
+        }
+
+        // Disable external entity loading
+        if($disableExternals) $oldVal = libxml_disable_entity_loader($disableExternals);
+        try {
+            $xml = new SimpleXMLElement($val);
+            $result = self::recursiveXMLToArray($xml);
+        } catch(Exception $ex) {
+            if($disableExternals) libxml_disable_entity_loader($oldVal);
+            throw $ex;
+        }
+        if($disableExternals) libxml_disable_entity_loader($oldVal);
+        return $result;
+    }
+
+    /**
+     * Convert a XML string to a PHP array recursively. Do not
+     * call this function directly, Please use {@link Convert::xml2array()}
+     *
+     * @param SimpleXMLElement
+     *
+     * @return mixed
+     */
+    protected static function recursiveXMLToArray($xml) {
+        if(is_object($xml) && get_class($xml) == 'SimpleXMLElement') {
+            $attributes = $xml->attributes();
+            foreach($attributes as $k => $v) {
+                if($v) $a[$k] = (string) $v;
+            }
+            $x = $xml;
+            $xml = get_object_vars($xml);
+        }
+        if(is_array($xml)) {
+            if(count($xml) == 0) return (string) $x; // for CDATA
+            foreach($xml as $key => $value) {
+                $r[$key] = self::recursiveXMLToArray($value);
+            }
+            if(isset($a)) $r['@'] = $a; // Attributes
+            return $r;
+        }
+
+        return (string) $xml;
+    }
+}
 \ No newline at end of file
@@ -11,8 +11,26 @@ namespace yii\multiparser;
 use yii\base\Component;
+
+
 class YiiMultiparser extends Component{
+public $configuration;
+
+    public function getConfiguration($extension, $conf_parameter){
+
+        if (!isset( $this->configuration[$extension] )){
+            throw new \ErrorException( "Parser do not maintain file with extension  {$extension}");
+        }
+        if (!isset( $this->configuration[$extension][$conf_parameter] )){
+            throw new \ErrorException( "Parser configurator do not have settings for {$conf_parameter} parameter");
+        }
+
+        return $this->configuration[$extension][$conf_parameter];
+
+    }
+
+
     public function parse( $filePath, $options = [] ){
         $parser = new YiiParserHandler( $filePath, $options );
@@ -12,4 +12,72 @@ namespace yii\multiparser;
 class YiiParserHandler extends ParserHandler{
+    /**
+     * @param $filePath
+     * @param array $options
+     * проверяет читабенльность переданного файла, а также наличие настроек парсера в конфигурационном файле для данного типа файла
+     */
+    public function __construct($filePath,  $options = [])
+    {
+        $this->filePath = $filePath;
+        if (isset($options['mode'])) {
+
+            $this->mode = $options['mode'];
+            unset($options['mode']);
+
+        } else {
+
+            $this->mode = self::DEFAULT_MODE;
+
+        }
+
+        $this->options = $options;
+
+        try {
+            $this->fileObject = new \SplFileObject($this->filePath, 'r');
+        } catch (\ErrorException $e) {
+            //  Yii::warning("Ошибка открытия файла {$this->filePath}");
+            echo "Ошибка открытия файла {$this->filePath}";
+            return [];
+        }
+
+        $options['file'] = $this->fileObject;
+        $this->extension = $this->fileObject->getExtension();
+
+        try {
+            $this->configuration = \Yii::$app->multiparser->getConfiguration($this->extension, $this->mode);
+            $this->configuration = array_merge($this->configuration, $options);
+
+        } catch (\ErrorException $e) {
+            echo $e->getMessage();
+            return [];
+        }
+
+    }
+
+    public function run()
+    {
+
+        $result = [];
+
+        // \common\components\CustomVarDamp::dumpAndDie($this);
+        if (count($this->configuration)) {
+            $parser = \Yii::createObject($this->configuration);
+
+            try {
+
+                $parser->setup();
+                $result = $parser->read();
+
+            } catch (\ErrorException $e) {
+
+                echo $e->getMessage();
+
+            }
+
+        }
+
+        return $result;
+    }
+
 }
 \ No newline at end of file
+<?php
+return
+    [
+        'csv' =>
+            ['web' =>
+                ['class' => 'yii\multiparser\CsvParser',
+                    'auto_detect_first_line' => true,
+                    'converter_conf' => [
+                    "float" => 'PRICE',
+                    "integer" => 'QUANTITY',
+                    "string" => 'DESCR'
+                    ]],
+                'basic_column' => [
+                    "ARTICLE" => 'Артикул',
+                    "PRICE" => 'Цена',
+                    "DESCR" => 'Наименование',
+                    "QUANTITY" => 'Колво'
+
+                ],
+            ]];