データフィードのファイル | 仕様 | Website Categorization Database | WhoisXML API

データフィードファイル

Website Categorization Databaseとは、ウェブサイトをその内容に基づいて分類するデータベースを指します。ウェブサイト分類の目的は、ユーザーにサイトの性質に関する情報を提供することです。これにより、ユーザーがウェブサイトへのアクセスについて十分な情報を得た上で意思決定できるようになります。当社のWebsite Categorization Databaseは、500超のカテゴリーをサポートしています。

データセットは以下の2つの形式をとります。

1. Daily Website Categorization Datafeed

Website Categorization Database全体は、毎日6:00 UTCに更新されます。

Daily Website Categorization Datafeedのデータは、Newly Registered Domains Data Feedから取得します。この方法により、データベースを最新の状態に保つことができます。

  • 含まれるデータ:ドメイン名、ASN、カテゴリー、ドメイン名作成日(WHOIS)、ウェブサイトの応答(true/false)、国コード。
  • ファイル名の形式:categories.%DATE%.[csv|json].gz
  • 平均ファイルサイズ:
ファイル Gzipサイズ 解凍後のサイズ
categories.%DATE%.daily.csv.gz 50MiB 250MiB 1.5M
categories.%DATE%.daily.json.gz 60MiB 500MiB 1.5M

2. Custom Website Categorization Database

お好きなカテゴリーと国で独自のデータセットを構成することができます。Daily Website Categorisation Datafeedからの更新は全て、毎日のリリース後少なくとも24時間でデータセットに反映されることが保証されています。

  • 含まれるデータ:ドメイン名、ASN、カテゴリー、ドメイン名作成日(WHOIS)、ウェブサイトの応答(true/false)、国コード。
  • ファイル名の形式:categorization_db.%DATE%.%DATASET_ID%.categories.[csv|jsonl].gz



データフィードファイルのダウンロード方法

HTTPS経由のダウンロード

FTP経由のダウンロード

  • Host: datafeeds.whoisxmlapi.com
  • Port: 21210
  • Username: 'user'
  • Password:  My Productsページから取得できるAPI Keyと同じです。
  • Base path:  ftp://datafeeds.whoisxmlapi.com:21210
  • Folder: Website_Categorization_Database or Website_Categorization_Custom

FTPS経由のダウンロード

FTPS接続について詳しくはこちらをご参照ください:https://en.wikipedia.org/wiki/FTPS

当社のFTPサーバーは、明示的なFTP over TLSをサポートしています。安全な通信のため、お客様のFTPクライアントで明示的なFTP over TLSを使用するように設定できます。

当社のFTPSサーバーには、通常のFTPサーバーと同じパスとAPIキーを使ってアクセスします。FTPSで接続するには "Require explicit FTP over TLS"暗号化オプションを選択してください。FileZillaの設定例:

明示的なFTP over TLS