高性能なデータ検証エンジンの構築

大規模なデータ処理時にシステムが遅くなる問題に直面したことはありませんか？validator.jsを利用することで、このような問題を解決し、データ検証のパフォーマンスを大幅に向上させる方法を紹介します。

validator.jsとは何か？

validator.jsは軽量でありながら強力なデータ検証ライブラリで、メールアドレスやクレジットカード番号など、さまざまな形式の検証に対応しています。モジュール設計により、必要な検証ルールのみをロードできます。

• フロントエンドでのリアルタイム検証
• バックエンドAPIのリクエストパラメータ検証
• 大量データのバッチ処理
• ストリームベースのデータ検証

バッチ処理による高速化

// バッチ処理の例
function verifyDataBatch(dataList, rules) {
  return dataList.map(item => {
    let result = {};
    for (let [field, ruleSet] of Object.entries(rules)) {
      result[field] = ruleSet.every(rule => {
        const [funcName, ...params] = Array.isArray(rule) ? rule : [rule];
        return validator[funcName](item[field], ...params);
      });
    }
    return { data: item, isValid: Object.values(result).every(Boolean), details: result };
  });
}

// 使用例
const users = [{ mail: 'user1@example.com', age: 25 }, { mail: 'invalid-email', age: 'twenty' }];
const results = verifyDataBatch(users, { mail: ['isEmail'], age: [['isInt', { min: 18, max: 120 }]] });

大規模データセットの最適化

async function processLargeBatch(dataList, rules, chunkSize = 1000) {
  let output = [];
  for (let i = 0; i < dataList.length; i += chunkSize) {
    let segment = dataList.slice(i, i + chunkSize);
    let segmentResults = await new Promise(resolve => setTimeout(() => resolve(verifyDataBatch(segment, rules)), 0));
    output.push(...segmentResults);
  }
  return output;
}

ストリームベースの検証

ストリームベースの検証は、ファイルからの読み込みやセンサーからリアルタイムで発生するデータなどに適しています。

const { Transform } = require('stream');
const valLib = require('./src/index');

class DataValidatorStream extends Transform {
  constructor(validationRules, options) {
    super({ ...options, objectMode: true });
    this.rules = validationRules;
  }

  _transform(chunk, encoding, callback) {
    let validationResult = {};
    let isValid = true;
    for (let [field, rules] of Object.entries(this.rules)) {
      validationResult[field] = rules.every(rule => {
        const [funcName, ...args] = Array.isArray(rule) ? rule : [rule];
        const valid = valLib[funcName](chunk[field], ...args);
        if (!valid) isValid = false;
        return valid;
      });
    }
    this.push({ data: chunk, isValid, details: validationResult });
    callback();
  }
}

実用例：CSVファイルの検証

const fs = require('fs');
const csvParser = require('csv-parser');

fs.createReadStream('large-data.csv')
  .pipe(csvParser())
  .pipe(new DataValidatorStream({
    mail: ['isEmail'],
    ipAddr: [['isIP', { version: 4 }]],
    amount: [['isFloat', { min: 0 }]]
  }))
  .on('data', result => {
    if (!result.isValid) console.error('Invalid record:', result.details);
  })
  .on('end', () => console.log('Validation completed'));

性能比較