shogo-library

競技プログラミング用の C++ ライブラリ

View the Project on GitHub shogo314/shogo-library

:heavy_check_mark: ローリングハッシュ
(src/string/rolling-hash.hpp)

mod $2^{61} - 1$ のローリングハッシュです。基数は省略するとランダムに選ばれます。

RollingHash rh;
std::string s = "abcabc";
auto h = rh.build(s);                          // 接頭辞のハッシュ
bool eq = rh.query(h, 0, 3) == rh.query(h, 3, 6);  // "abc" == "abc": true

RHString t(rh, "ab"), u(rh, "a");
bool p = (t + u).is_palindrome();              // "aba" は回文: true

文字列だけでなく、整数の配列などにも使えます。char は 0〜255 として、負の整数は mod で正規化して扱います。

RollingHash

メンバ 説明 計算量
RollingHash(base = 0) 基数を指定して作る (0 ならランダム) $O(1)$
build(s) / build(first, last) 長さ $n + 1$ の配列 h (h[i] は先頭 i 文字のハッシュ) $O(n)$
query(h, l, r) $[l, r)$ のハッシュ $O(1)$ (初回は $O(r - l)$)

RHString

ハッシュ値と長さだけを持つ文字列型です。連結と比較を $O(1)$ で行えます。同じ RollingHash から作ったもの同士でしか演算できません。

メンバ 説明 計算量
RHString(rh) 空文字列 $O(1)$
RHString(rh, s) 文字列・vector などの列、または 1 文字 (char や整数) から作る $O(n)$
t + u、t += u 連結 $O(1)$ (初回は長さ分)
t == u、t != u 一致判定 $O(1)$
t = s、t.assign(s) 再代入 $O(n)$
t.is_palindrome() 回文か $O(1)$
t.size()、t.empty()、t.clear() 長さ・空か・空にする $O(1)$

Depends on

Verified with

Code

#pragma once

/**
 * @file rolling-hash.hpp
 * @brief ローリングハッシュ
 */

#include <string>
#include <vector>
#include <random>
#include <cassert>
#include <string_view>
#include <type_traits>

#include "../base/traits.hpp"

struct RHString;

/**
 * @brief ローリングハッシュ
 *
 * ビット演算による高速化のためハッシュはMOD = 2^61-1で計算される
 *
 * 10^8個くらいなら99%の確率で衝突する組が存在しない
 */
class RollingHash {
    constexpr static unsigned long long MASK30 = (1ULL << 30) - 1;
    constexpr static unsigned long long MASK31 = (1ULL << 31) - 1;
    constexpr static unsigned long long MOD = (1ULL << 61) - 1;

    // a < MOD, b < MOD必須
    constexpr static unsigned long long add(unsigned long long a, unsigned long long b) {
        if((a += b) >= MOD) a -= MOD;
        return a;
    }

    // a < MOD, b < MOD必須
    constexpr static unsigned long long mul(unsigned long long a, unsigned long long b) {
        __uint128_t c = static_cast<__uint128_t>(a) * b;
        return add(static_cast<unsigned long long>(c >> 61), static_cast<unsigned long long>(c & MOD));
    }

    void expand(int n) {
        while(static_cast<int>(power.size()) <= n) power.push_back(mul(power.back(), base));
    }

public:
    /**
     * @brief 要素を[0, MOD)の値に変換する
     * @note charは符号に関わらず0~255として扱う 負の整数はMODで正規化する
     */
    template <typename T>
    constexpr static unsigned long long to_value(const T& x) {
        using U = std::decay_t<T>;
        if constexpr (std::is_same_v<U, char> || std::is_same_v<U, signed char>) {
            return static_cast<unsigned char>(x);
        } else if constexpr (std::is_integral_v<U> && std::is_signed_v<U>) {
            long long v = static_cast<long long>(x) % static_cast<long long>(MOD);
            return v < 0 ? v + MOD : v;
        } else {
            return static_cast<unsigned long long>(x) % MOD;
        }
    }

    unsigned int base; //!< ハッシュの基数
    std::vector<unsigned long long> power; //!< baseの累乗

    /**
     * @brief コンストラクタ
     *
     * @param base ハッシュの基数 省略するとランダム
     */
    RollingHash(unsigned int base = 0) : base(base) {
        if(base == 0) {
            std::mt19937 mt(std::random_device{}());
            this->base = std::uniform_int_distribution<unsigned int>(129, ~0U)(mt);
        }
        power = {1};
    }

    /**
     * @brief 配列/文字列のイテレータ間のハッシュの計算(O(N))
     *
     * @tparam It イテレータ
     * @param first 配列の開始イテレータ
     * @param last 配列の終了イテレータ
     * @return std::vector<unsigned long long> 先頭から各要素数分のハッシュ
     */
    template <typename It>
    std::vector<unsigned long long> build(It first, It last) {
        std::vector<unsigned long long> res;
        if constexpr (std::is_convertible_v<typename std::iterator_traits<It>::iterator_category, std::random_access_iterator_tag>) {
            res.reserve(last - first + 1);
        }
        res.push_back(0);
        for(; first != last; ++first) {
            res.push_back(add(mul(res.back(), base), to_value(*first)));
        }
        return res;
    }

    /**
     * @brief 配列/文字列全体のハッシュの計算(O(N))
     *
     * @param s 配列/文字列
     * @return std::vector<unsigned long long> 先頭から各文字数分のハッシュ
     */
    template <typename R>
    std::vector<unsigned long long> build(R&& s) {
        using std::begin, std::end;
        return build(begin(s), end(s));
    }

    /**
     * @brief [l,r)のハッシュの計算(O(1))
     *
     * @param hash 先頭からのハッシュ
     * @param l 区間の左端
     * @param r 区間の右端
     * @return unsigned long long [l,r)のハッシュ
     */
    unsigned long long query(const std::vector<unsigned long long>& hash, int l, int r) {
        expand(r - l);
        return add(hash[r], MOD - mul(hash[l], power[r-l]));
    }

    friend RHString;
};

/**
 * @brief ローリングハッシュによって管理される文字列型
 */
struct RHString {
    RollingHash& rh;
    size_t sz;
    unsigned long long hash1;  //!< 正順
    unsigned long long hash2;  //!< 逆順
    /**
     * @brief コンストラクタ
     * 予めRollingHashをインスタンス化しておく必要がある
     */
    RHString(RollingHash& rh) : rh(rh), sz(0), hash1(0), hash2(0) {}
    RHString(RollingHash& rh, size_t sz, unsigned long long hash1, unsigned long long hash2) : rh(rh), sz(sz), hash1(hash1), hash2(hash2) {}
    RHString(const RHString& o) : rh(o.rh), sz(o.sz), hash1(o.hash1), hash2(o.hash2) {}
    /**
     * @brief vectorなどで初期化する
     */
    template <class R, std::enable_if_t<is_range_v<R> && !std::is_convertible_v<R, std::string_view>, std::nullptr_t> = nullptr>
    RHString(RollingHash& rh, R&& v) : rh(rh) {
        using std::begin, std::end, std::rbegin, std::rend;
        sz = std::distance(begin(v), end(v));
        hash1 = rh.build(begin(v), end(v)).back();
        hash2 = rh.build(rbegin(v), rend(v)).back();
    }
    /**
     * @brief charやunsigned long longなどで初期化する
     */
    template <class T, std::enable_if_t<std::is_convertible_v<T, unsigned long long> && !std::is_convertible_v<T, std::string_view>, std::nullptr_t> = nullptr>
    RHString(RollingHash& rh, T&& x) : rh(rh) {
        sz = 1;
        hash1 = RollingHash::to_value(x);
        hash2 = hash1;
    }
    /**
     * @brief 文字列(string, const char*, string_view)で初期化する
     */
    RHString(RollingHash& rh, std::string_view s) : rh(rh) {
        sz = std::distance(s.begin(), s.end());
        hash1 = rh.build(s.begin(), s.end()).back();
        hash2 = rh.build(s.rbegin(), s.rend()).back();
    }

    /**
     * @brief 回文か否か
     */
    bool is_palindrome() const {
        return hash1 == hash2;
    }
    size_t size() const {
        return sz;
    }
    void clear() {
        sz = 0;
        hash1 = 0;
        hash2 = 0;
    }
    bool empty() const {
        return sz == 0;
    }
    RHString& operator+=(const RHString& o) {
        assert(&rh == &o.rh);
        rh.expand(sz);
        rh.expand(o.sz);
        hash1 = rh.add(rh.mul(hash1, rh.power[o.sz]), o.hash1);
        hash2 = rh.add(hash2, rh.mul(o.hash2, rh.power[sz]));
        sz += o.sz;
        return *this;
    }
    /**
     * @brief 再代入する
     * RollingHashは同じものである必要がある
     */
    void assign(const RHString& o) {
        assert(&rh == &o.rh);
        sz = o.sz;
        hash1 = o.hash1;
        hash2 = o.hash2;
    }
    /**
     * @brief vectorなどを再代入する
     */
    template <class R, std::enable_if_t<is_range_v<R> && !std::is_convertible_v<R, std::string_view>, std::nullptr_t> = nullptr>
    void assign(R&& v) {
        using std::begin, std::end, std::rbegin, std::rend;
        sz = std::distance(begin(v), end(v));
        hash1 = rh.build(begin(v), end(v)).back();
        hash2 = rh.build(rbegin(v), rend(v)).back();
    }
    /**
     * @brief charやunsigned long longなどを再代入する
     */
    template <class T, std::enable_if_t<std::is_convertible_v<T, unsigned long long> && !std::is_convertible_v<T, std::string_view>, std::nullptr_t> = nullptr>
    void assign(T&& x) {
        sz = 1;
        hash1 = RollingHash::to_value(x);
        hash2 = hash1;
    }
    /**
     * @brief 文字列(string, const char*, string_view)を再代入する
     */
    void assign(std::string_view s) {
        sz = std::distance(s.begin(), s.end());
        hash1 = rh.build(s.begin(), s.end()).back();
        hash2 = rh.build(s.rbegin(), s.rend()).back();
    }
    /**
     * @brief 再代入する
     * RollingHashは同じものである必要がある
     */
    RHString& operator=(const RHString& o) {
        assign(o);
        return *this;
    }
    /**
     * @brief vectorなどを再代入する
     */
    template <class R, std::enable_if_t<is_range_v<R> && !std::is_convertible_v<R, std::string_view>, std::nullptr_t> = nullptr>
    RHString& operator=(R&& v) {
        assign(v);
        return *this;
    }
    /**
     * @brief charやunsigned long longなどを再代入する
     */
    template <class T, std::enable_if_t<std::is_convertible_v<T, unsigned long long> && !std::is_convertible_v<T, std::string_view>, std::nullptr_t> = nullptr>
    RHString& operator=(T&& x) {
        assign(x);
        return *this;
    }
    /**
     * @brief 文字列(string, const char*, string_view)を再代入する
     */
    RHString& operator=(std::string_view s) {
        assign(s);
        return *this;
    }
    friend RHString operator+(const RHString& t1, const RHString& t2) {
        RHString ret = t1;
        ret += t2;
        return ret;
    }
    friend bool operator==(const RHString& t1, const RHString& t2) {
        assert(&t1.rh == &t2.rh);
        return t1.sz == t2.sz && t1.hash1 == t2.hash1 && t1.hash2 == t2.hash2;
    }
    friend bool operator!=(const RHString& t1, const RHString& t2) { return !(t1 == t2); }
};
#line 2 "src/string/rolling-hash.hpp"

/**
 * @file rolling-hash.hpp
 * @brief ローリングハッシュ
 */

#include <string>
#include <vector>
#include <random>
#include <cassert>
#include <string_view>
#include <type_traits>

#line 2 "src/base/traits.hpp"

/**
 * @file traits.hpp
 * @brief 型特性
 */

#include <cstddef>
#include <iterator>
#include <set>
#line 12 "src/base/traits.hpp"
#include <utility>

namespace detail {
using std::begin, std::end;

template <class T, class = void>
struct is_range_impl : std::false_type {};
template <class T>
struct is_range_impl<T, std::void_t<decltype(begin(std::declval<T&>()), end(std::declval<T&>()))>> : std::true_type {};
}  // namespace detail

template <class T>
struct is_range : detail::is_range_impl<T>::type {};
template <class T>
inline constexpr bool is_range_v = is_range<T>::value;

#define HAS_METHOD(func_name)                                                              \
    namespace detail {                                                                     \
    template <class T, class = void>                                                       \
    struct has_##func_name##_impl : std::false_type {};                                    \
    template <class T>                                                                     \
    struct has_##func_name##_impl<T, std::void_t<decltype(std::declval<T>().func_name())>> \
        : std::true_type {};                                                               \
    }                                                                                      \
    template <class T>                                                                     \
    struct has_##func_name : detail::has_##func_name##_impl<T>::type {};                   \
    template <class T>                                                                     \
    inline constexpr bool has_##func_name##_v = has_##func_name<T>::value;

#define HAS_METHOD_ARG(func_name)                                                                              \
    namespace detail {                                                                                         \
    template <class T, typename U, class = void>                                                               \
    struct has_##func_name##_impl : std::false_type {};                                                        \
    template <class T, typename U>                                                                             \
    struct has_##func_name##_impl<T, U, std::void_t<decltype(std::declval<T>().func_name(std::declval<U>()))>> \
        : std::true_type {};                                                                                   \
    }                                                                                                          \
    template <class T, typename U>                                                                             \
    struct has_##func_name : detail::has_##func_name##_impl<T, U>::type {};                                    \
    template <class T, typename U>                                                                             \
    inline constexpr bool has_##func_name##_v = has_##func_name<T, U>::value;

HAS_METHOD(repr)
HAS_METHOD(type_str)
HAS_METHOD(initializer_str)
HAS_METHOD(max)
HAS_METHOD(min)
HAS_METHOD(reversed)
HAS_METHOD(sorted)
HAS_METHOD(sum)
HAS_METHOD(product)
HAS_METHOD(product_xor)
HAS_METHOD_ARG(count)
HAS_METHOD_ARG(find)
HAS_METHOD_ARG(lower_bound)
HAS_METHOD_ARG(upper_bound)

#define ENABLE_IF_T_IMPL(expr) std::enable_if_t<expr, std::nullptr_t> = nullptr
#define ENABLE_IF_T(...) ENABLE_IF_T_IMPL((__VA_ARGS__))

template <class C>
using mem_value_type = typename C::value_type;
template <class C>
using mem_difference_type = typename C::difference_type;

namespace detail {
template <class T, class = void>
struct is_sorted_container_impl : std::false_type {};
template <class T>
struct is_sorted_container_impl<std::set<T>> : std::true_type {};
template <class T>
struct is_sorted_container_impl<std::multiset<T>> : std::true_type {};
}  // namespace detail
template <class T>
struct is_sorted_container : detail::is_sorted_container_impl<T>::type {};
template <class T>
inline constexpr bool is_sorted_container_v = is_sorted_container<T>::value;
#line 16 "src/string/rolling-hash.hpp"

struct RHString;

/**
 * @brief ローリングハッシュ
 *
 * ビット演算による高速化のためハッシュはMOD = 2^61-1で計算される
 *
 * 10^8個くらいなら99%の確率で衝突する組が存在しない
 */
class RollingHash {
    constexpr static unsigned long long MASK30 = (1ULL << 30) - 1;
    constexpr static unsigned long long MASK31 = (1ULL << 31) - 1;
    constexpr static unsigned long long MOD = (1ULL << 61) - 1;

    // a < MOD, b < MOD必須
    constexpr static unsigned long long add(unsigned long long a, unsigned long long b) {
        if((a += b) >= MOD) a -= MOD;
        return a;
    }

    // a < MOD, b < MOD必須
    constexpr static unsigned long long mul(unsigned long long a, unsigned long long b) {
        __uint128_t c = static_cast<__uint128_t>(a) * b;
        return add(static_cast<unsigned long long>(c >> 61), static_cast<unsigned long long>(c & MOD));
    }

    void expand(int n) {
        while(static_cast<int>(power.size()) <= n) power.push_back(mul(power.back(), base));
    }

public:
    /**
     * @brief 要素を[0, MOD)の値に変換する
     * @note charは符号に関わらず0~255として扱う 負の整数はMODで正規化する
     */
    template <typename T>
    constexpr static unsigned long long to_value(const T& x) {
        using U = std::decay_t<T>;
        if constexpr (std::is_same_v<U, char> || std::is_same_v<U, signed char>) {
            return static_cast<unsigned char>(x);
        } else if constexpr (std::is_integral_v<U> && std::is_signed_v<U>) {
            long long v = static_cast<long long>(x) % static_cast<long long>(MOD);
            return v < 0 ? v + MOD : v;
        } else {
            return static_cast<unsigned long long>(x) % MOD;
        }
    }

    unsigned int base; //!< ハッシュの基数
    std::vector<unsigned long long> power; //!< baseの累乗

    /**
     * @brief コンストラクタ
     *
     * @param base ハッシュの基数 省略するとランダム
     */
    RollingHash(unsigned int base = 0) : base(base) {
        if(base == 0) {
            std::mt19937 mt(std::random_device{}());
            this->base = std::uniform_int_distribution<unsigned int>(129, ~0U)(mt);
        }
        power = {1};
    }

    /**
     * @brief 配列/文字列のイテレータ間のハッシュの計算(O(N))
     *
     * @tparam It イテレータ
     * @param first 配列の開始イテレータ
     * @param last 配列の終了イテレータ
     * @return std::vector<unsigned long long> 先頭から各要素数分のハッシュ
     */
    template <typename It>
    std::vector<unsigned long long> build(It first, It last) {
        std::vector<unsigned long long> res;
        if constexpr (std::is_convertible_v<typename std::iterator_traits<It>::iterator_category, std::random_access_iterator_tag>) {
            res.reserve(last - first + 1);
        }
        res.push_back(0);
        for(; first != last; ++first) {
            res.push_back(add(mul(res.back(), base), to_value(*first)));
        }
        return res;
    }

    /**
     * @brief 配列/文字列全体のハッシュの計算(O(N))
     *
     * @param s 配列/文字列
     * @return std::vector<unsigned long long> 先頭から各文字数分のハッシュ
     */
    template <typename R>
    std::vector<unsigned long long> build(R&& s) {
        using std::begin, std::end;
        return build(begin(s), end(s));
    }

    /**
     * @brief [l,r)のハッシュの計算(O(1))
     *
     * @param hash 先頭からのハッシュ
     * @param l 区間の左端
     * @param r 区間の右端
     * @return unsigned long long [l,r)のハッシュ
     */
    unsigned long long query(const std::vector<unsigned long long>& hash, int l, int r) {
        expand(r - l);
        return add(hash[r], MOD - mul(hash[l], power[r-l]));
    }

    friend RHString;
};

/**
 * @brief ローリングハッシュによって管理される文字列型
 */
struct RHString {
    RollingHash& rh;
    size_t sz;
    unsigned long long hash1;  //!< 正順
    unsigned long long hash2;  //!< 逆順
    /**
     * @brief コンストラクタ
     * 予めRollingHashをインスタンス化しておく必要がある
     */
    RHString(RollingHash& rh) : rh(rh), sz(0), hash1(0), hash2(0) {}
    RHString(RollingHash& rh, size_t sz, unsigned long long hash1, unsigned long long hash2) : rh(rh), sz(sz), hash1(hash1), hash2(hash2) {}
    RHString(const RHString& o) : rh(o.rh), sz(o.sz), hash1(o.hash1), hash2(o.hash2) {}
    /**
     * @brief vectorなどで初期化する
     */
    template <class R, std::enable_if_t<is_range_v<R> && !std::is_convertible_v<R, std::string_view>, std::nullptr_t> = nullptr>
    RHString(RollingHash& rh, R&& v) : rh(rh) {
        using std::begin, std::end, std::rbegin, std::rend;
        sz = std::distance(begin(v), end(v));
        hash1 = rh.build(begin(v), end(v)).back();
        hash2 = rh.build(rbegin(v), rend(v)).back();
    }
    /**
     * @brief charやunsigned long longなどで初期化する
     */
    template <class T, std::enable_if_t<std::is_convertible_v<T, unsigned long long> && !std::is_convertible_v<T, std::string_view>, std::nullptr_t> = nullptr>
    RHString(RollingHash& rh, T&& x) : rh(rh) {
        sz = 1;
        hash1 = RollingHash::to_value(x);
        hash2 = hash1;
    }
    /**
     * @brief 文字列(string, const char*, string_view)で初期化する
     */
    RHString(RollingHash& rh, std::string_view s) : rh(rh) {
        sz = std::distance(s.begin(), s.end());
        hash1 = rh.build(s.begin(), s.end()).back();
        hash2 = rh.build(s.rbegin(), s.rend()).back();
    }

    /**
     * @brief 回文か否か
     */
    bool is_palindrome() const {
        return hash1 == hash2;
    }
    size_t size() const {
        return sz;
    }
    void clear() {
        sz = 0;
        hash1 = 0;
        hash2 = 0;
    }
    bool empty() const {
        return sz == 0;
    }
    RHString& operator+=(const RHString& o) {
        assert(&rh == &o.rh);
        rh.expand(sz);
        rh.expand(o.sz);
        hash1 = rh.add(rh.mul(hash1, rh.power[o.sz]), o.hash1);
        hash2 = rh.add(hash2, rh.mul(o.hash2, rh.power[sz]));
        sz += o.sz;
        return *this;
    }
    /**
     * @brief 再代入する
     * RollingHashは同じものである必要がある
     */
    void assign(const RHString& o) {
        assert(&rh == &o.rh);
        sz = o.sz;
        hash1 = o.hash1;
        hash2 = o.hash2;
    }
    /**
     * @brief vectorなどを再代入する
     */
    template <class R, std::enable_if_t<is_range_v<R> && !std::is_convertible_v<R, std::string_view>, std::nullptr_t> = nullptr>
    void assign(R&& v) {
        using std::begin, std::end, std::rbegin, std::rend;
        sz = std::distance(begin(v), end(v));
        hash1 = rh.build(begin(v), end(v)).back();
        hash2 = rh.build(rbegin(v), rend(v)).back();
    }
    /**
     * @brief charやunsigned long longなどを再代入する
     */
    template <class T, std::enable_if_t<std::is_convertible_v<T, unsigned long long> && !std::is_convertible_v<T, std::string_view>, std::nullptr_t> = nullptr>
    void assign(T&& x) {
        sz = 1;
        hash1 = RollingHash::to_value(x);
        hash2 = hash1;
    }
    /**
     * @brief 文字列(string, const char*, string_view)を再代入する
     */
    void assign(std::string_view s) {
        sz = std::distance(s.begin(), s.end());
        hash1 = rh.build(s.begin(), s.end()).back();
        hash2 = rh.build(s.rbegin(), s.rend()).back();
    }
    /**
     * @brief 再代入する
     * RollingHashは同じものである必要がある
     */
    RHString& operator=(const RHString& o) {
        assign(o);
        return *this;
    }
    /**
     * @brief vectorなどを再代入する
     */
    template <class R, std::enable_if_t<is_range_v<R> && !std::is_convertible_v<R, std::string_view>, std::nullptr_t> = nullptr>
    RHString& operator=(R&& v) {
        assign(v);
        return *this;
    }
    /**
     * @brief charやunsigned long longなどを再代入する
     */
    template <class T, std::enable_if_t<std::is_convertible_v<T, unsigned long long> && !std::is_convertible_v<T, std::string_view>, std::nullptr_t> = nullptr>
    RHString& operator=(T&& x) {
        assign(x);
        return *this;
    }
    /**
     * @brief 文字列(string, const char*, string_view)を再代入する
     */
    RHString& operator=(std::string_view s) {
        assign(s);
        return *this;
    }
    friend RHString operator+(const RHString& t1, const RHString& t2) {
        RHString ret = t1;
        ret += t2;
        return ret;
    }
    friend bool operator==(const RHString& t1, const RHString& t2) {
        assert(&t1.rh == &t2.rh);
        return t1.sz == t2.sz && t1.hash1 == t2.hash1 && t1.hash2 == t2.hash2;
    }
    friend bool operator!=(const RHString& t1, const RHString& t2) { return !(t1 == t2); }
};
Back to top page