【C# .NET 8】ファイルから重複行を削除する2つの方法｜Distinct vs HashSet｜サンプルコード付き

2025年7月18日

✅ はじめに

C#でテキストファイルの重複行を削除して、新しいファイルに保存したい場合、
どのような方法が一番効率的なのでしょうか？

この記事では、C#/.NET 8 における代表的な2つの方法、

• Distinct() を使った方法（順序維持に最適）
• HashSet を使った方法（パフォーマンス重視）

を比較しながら、それぞれの使い方と違いを解説します。サンプルコード付きで、初心者にもやさしく紹介します！

🎯 この記事で得られること

• C#でテキストファイルを読み込んで List<string> に変換する方法
• 重複行を削除する 2 つの方法とその違い
• 結果をファイルに保存する方法
• 順序を保持したい場合と、速度を重視したい場合の使い分け

📦 開発環境

• 言語：C# 12
• フレームワーク：.NET 8
• OS：Windows 10/11（macOS/LinuxでもOK）
• エディタ：Visual Studio 2022 / VS Code

📄 入力ファイル例（input.txt）

apple
banana
apple
orange
banana

✅ 方法①：Distinct() で重複を削除（順序保持）

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Threading.Tasks;

class Program
{
    static async Task Main()
    {
        string inputPath = "input.txt";
        string outputPath = "output_distinct.txt";

        var lines = await File.ReadAllLinesAsync(inputPath);
        var uniqueLines = lines.Distinct().ToList();

        await File.WriteAllLinesAsync(outputPath, uniqueLines);

        Console.WriteLine("Distinctで重複を削除して保存しました。");
    }
}

✅ 特徴

• 順序を維持したまま重複行を削除
• 簡潔で可読性が高い
• IEnumerable<string> に対してそのまま使える

🚀 方法②：HashSet を使って重複を削除（高速・大規模向け）

using System;
using System.Collections.Generic;
using System.IO;
using System.Threading.Tasks;

class Program
{
    static async Task Main()
    {
        string inputPath = "input.txt";
        string outputPath = "output_hashset.txt";

        var lines = await File.ReadAllLinesAsync(inputPath);
        var seen = new HashSet<string>();
        var result = new List<string>();

        foreach (var line in lines)
        {
            if (seen.Add(line))  // 追加成功 = 初めての値
                result.Add(line);
        }

        await File.WriteAllLinesAsync(outputPath, result);

        Console.WriteLine("HashSetで重複を削除して保存しました。");
    }
}

✅ 特徴

• パフォーマンスが高い（特に大量データ時に効果的）
• 大文字小文字を無視したい場合は、new HashSet<string>(StringComparer.OrdinalIgnoreCase) も可能
• 明示的な処理が必要なため、ややコードが長め

📊 Distinct vs HashSet 比較表

🧠 応用Tips：大文字小文字を無視して重複を削除する

var seen = new HashSet<string>(StringComparer.OrdinalIgnoreCase);

または、

var uniqueLines = lines
    .Distinct(StringComparer.OrdinalIgnoreCase)
    .ToList();

🔚 まとめ

| シンプルに書きたいなら → Distinct() |
|-----------------------------|
| パフォーマンスを重視するなら → HashSet |

.NET 8 を使えば、非同期I/Oとも組み合わせて、大規模なファイル処理でもスムーズに動作します。
ぜひ、ご自身のアプリケーションに合った方法をお試しください