重複行削除ツール(無料・登録不要)
登録不要 無料 ブラウザ完結
行・単語・カンマ区切りの3モード対応。大文字小文字・空白・空行・ソートを細かく設定。削除率など統計4指標と重複行一覧表示付き。ファイル読込/ダウンロード対応・サーバー送信なし・完全無料。
0行
元の行数 —
重複数 —
結果 —
削除率 —
重複行一覧
1
テキストを入力
重複を削除したいテキストを上の入力欄に貼り付けるか、「ファイル読込」ボタンで .txt / .csv ファイルを選択します。大量テキストにも対応しています。
重複を削除したいテキストを上の入力欄に貼り付けるか、「ファイル読込」ボタンで .txt / .csv ファイルを選択します。大量テキストにも対応しています。
2
モードを選択
用途に応じて3つのモードから選びます:
用途に応じて3つのモードから選びます:
- 行重複削除 — 改行で区切られた行単位で重複を検出・削除(メアドリスト・名簿整理に最適)
- 単語重複削除 — スペースで区切られた単語単位で重複を検出・削除
- カンマ区切り重複削除 — カンマで区切られた要素の重複を削除(CSVデータに対応)
3
オプションを設定
処理前後の細かい挙動を4つのスイッチで設定します:
処理前後の細かい挙動を4つのスイッチで設定します:
- 大文字小文字を区別 — OFFにすると Apple/APPLE/apple を同一と見なす
- 前後空白を無視 — 各行の前後スペース・タブを除去してから重複判定
- 空行を除外 — 空行を結果から取り除く
- 出力ソート — オリジナル順 / 昇順(A→Z)/ 降順(Z→A)から選択
4
削除を実行
「重複を削除」ボタンをクリックすると即座に処理されます。元の行数・重複数・結果行数・削除率の4統計が表示されます。
「重複を削除」ボタンをクリックすると即座に処理されます。元の行数・重複数・結果行数・削除率の4統計が表示されます。
5
結果をコピーまたはダウンロード
「コピー」ボタンでクリップボードにコピー、「ダウンロード」ボタンで .txt ファイルとして保存できます。重複だった行を確認したい場合は「重複行一覧」セクションを参照してください。
「コピー」ボタンでクリップボードにコピー、「ダウンロード」ボタンで .txt ファイルとして保存できます。重複だった行を確認したい場合は「重複行一覧」セクションを参照してください。
メールアドレスリストの重複整理は、このツールが最もよく使われる用途の一つです。
手順(1分で完了)
- メールソフト・スプレッドシートから1行1アドレス形式でコピーして貼り付ける
- モードを「行重複削除」に設定(デフォルト)
- 「大文字小文字を区別しない」「前後空白を無視」をONにする
- 「重複を削除」ボタンをクリック
- 統計で「削除率」を確認し、結果をコピー or ダウンロード
推奨オプション設定
| オプション | 推奨 | 理由 |
|---|---|---|
| 大文字小文字を区別 | OFF(区別しない) | test@a.com と TEST@A.COM は同一 |
| 前後空白を無視 | ON | コピペ時のスペース混入を防ぐ |
| 空行を除外 | ON | 空行がリストに混入しているケースが多い |
| 出力ソート | 昇順(任意) | 整理後の確認がしやすい |
ポイント:「重複行一覧」で削除されたアドレスを確認できます。予期しない削除がないか、処理前後に必ずチェックすることを推奨します。
Excelにも「重複の削除」機能がありますが、このブラウザツールと比較すると以下の違いがあります。
| 項目 | このツール | Excel「重複の削除」 |
|---|---|---|
| ツール不要 | ブラウザのみ・インストール不要 | Excelインストール必須 |
| 複数列の複合重複 | 行全体で判定(テキスト用途) | 列を選択して複合判定可能 |
| 大文字小文字区別 | ON/OFF切替可能 | 区別なし(固定) |
| 前後空白の扱い | 自動除去オプションあり | TRIM関数の事前適用が必要 |
| 削除行の確認 | 重複行一覧で可視化 | 削除件数のみ表示 |
| ソート | 削除と同時にソート可能 | 別途ソート操作が必要 |
| データ形式 | テキスト・CSV対応 | スプレッドシート形式 |
使い分けの目安
このツールが向いているケース
- メールアドレスリスト・名簿・URLリストなど1列のテキストデータ
- Excelが手元にない・開くのが面倒な場面
- 大文字小文字の統一や空白除去も同時にしたい場合
- 削除された重複行を確認したい場合
Excelが向いているケース
- 複数列の組み合わせで重複判定したい場合(例: 氏名+会社名が一致)
- 処理後もスプレッドシート形式で作業を継続する場合
- 数千行以上の大規模データでセル書式を維持したい場合
「大文字小文字を区別する」オプションの挙動を解説します。
| 入力 | 区別する(ON)の結果 | 区別しない(OFF)の結果 |
|---|---|---|
| Apple apple APPLE apple | Apple apple APPLE (apple を削除) | Apple (apple, APPLE を削除) |
| test@a.com TEST@A.COM Test@A.com | 3件すべて残る | test@a.com のみ残る |
| HTTP http Http | 3件すべて残る | HTTP のみ残る |
どちらを使うべき?
区別しない(OFF)が適するケース
- メールアドレスリスト(RFC 5321でローカルパートは大文字小文字を区別するが、実務上は同一扱いが多い)
- 英語の単語・キーワードリストの整理
- URLリストの整理(ドメインは大文字小文字不問)
区別する(ON)が適するケース
- ソースコード内の変数名・クラス名など(CamelCase と lowercase は別物)
- 略語と通常語を区別したい場合(HTTP と http を別エントリとして扱う)
- 厳密なデータ重複チェック
数万行のリストを処理する際の推奨手順と注意点を紹介します。
ファイル読込で効率化
「ファイル読込」ボタンから .txt / .csv ファイルを直接読み込めます。数万行のファイルでもコピペ不要で即処理できます。処理後は「ダウンロード」ボタンで .txt ファイルとして保存してください。
文字コードに注意
日本語を含むファイルは UTF-8 で保存してからこのツールに読み込んでください。Shift-JIS(旧Excel形式)のファイルは文字化けする場合があります。Excelでファイルを「名前を付けて保存」→ 「CSV UTF-8 (コンマ区切り)」で保存すると問題なく処理できます。
処理性能の目安
ブラウザの JavaScript エンジンで処理するため、10万行程度のテキストでも通常1〜2秒以内に完了します。100万文字を超える場合は処理時間が長くなることがあります。
重複確認のワークフロー:処理後に「重複行一覧」セクションを必ず確認してください。予期せぬデータが重複判定されていた場合に、オプション設定を見直す際の参考になります。
- Q このツールは無料で使えますか?
- A はい、完全無料です。会員登録・アプリのインストールも不要で、ブラウザを開くだけでご利用いただけます。処理はすべてブラウザ内で完結するため、入力したテキストがサーバーに送信されることもありません。
- Q メールアドレスのリストで重複を削除したい場合はどうすれば良いですか?
- A 1行1メールアドレスのリストなら「行重複削除」モードで処理できます。「大文字小文字を区別しない」をONにすると、test@example.com と TEST@EXAMPLE.COM も同一として扱います。「前後空白を無視」もONにすると、余計なスペースがあっても同一行として判定します。
- Q Excelのデータの重複を削除できますか?
- A Excelからセルをコピーしてこのツールのテキストエリアに貼り付けると、タブ区切りまたは1列のデータとして処理できます。1列のデータであれば行重複削除が有効です。処理後は「ダウンロード」で .txt として保存し、Excelに再インポートしてください。
- Q 削除された重複行を確認したいのですが?
- A 処理後に「重複行一覧」セクションが表示されます。削除された重複行(2回目以降の出現)がすべて一覧で確認できます。どのデータが重複していたかを把握したいときに便利です。
- Q 大文字と小文字が混在している場合、同一の行として扱えますか?
- A はい。「大文字小文字を区別しない」オプションをONにすると、「Apple」「apple」「APPLE」を同一として扱い、1行に集約します。英語のリストやメールアドレスのリスト整理時に有効です。
- Q 「前後空白を無視」とは何ですか?
- A 各行の先頭と末尾にあるスペース・タブを取り除いてから重複判定します。コピペしたデータに余計なスペースが混入していても、内容が同一であれば重複として扱えます。
- Q カンマ区切りのデータから重複を削除したいのですが?
- A 「カンマ区切り重複削除」モードを選択してください。「apple,banana,apple,orange」のようなCSV形式のデータに対して、カンマで区切られた各要素の重複を削除し、「apple,banana,orange」のように出力します。