হারমেটিক CUDA ওভারভিউ

Hermetic CUDA ব্যবহারকারীর স্থানীয়ভাবে ইনস্টল করা CUDA এর পরিবর্তে CUDA-এর একটি নির্দিষ্ট ডাউনলোডযোগ্য সংস্করণ ব্যবহার করে। Bazel CUDA, CUDNN এবং NCCL ডিস্ট্রিবিউশন ডাউনলোড করবে এবং তারপর বিভিন্ন Bazel টার্গেটে নির্ভরতা হিসেবে CUDA লাইব্রেরি এবং টুল ব্যবহার করবে। এটি Google ML প্রকল্প এবং সমর্থিত CUDA সংস্করণগুলির জন্য আরও পুনরুত্পাদনযোগ্য বিল্ডকে সক্ষম করে৷

সমর্থিত হারমেটিক CUDA, CUDNN সংস্করণ

সমর্থিত CUDA সংস্করণগুলি CUDA_REDIST_JSON_DICT অভিধানে নির্দিষ্ট করা হয়েছে, third_party/gpus/cuda/hermetic/cuda_redist_versions.bzl ।

সমর্থিত CUDNN সংস্করণগুলি CUDNN_REDIST_JSON_DICT অভিধানে নির্দিষ্ট করা হয়েছে, third_party/gpus/cuda/hermetic/cuda_redist_versions.bzl ।

স্বতন্ত্র প্রকল্পগুলির .bazelrc ফাইলগুলিতে HERMETIC_CUDA_VERSION , HERMETIC_CUDNN_VERSION এনভায়রনমেন্ট ভেরিয়েবলগুলি ডিফল্টরূপে ব্যবহৃত সংস্করণগুলিতে সেট করা থাকে যখন Bazel কমান্ড বিকল্পগুলিতে --config=cuda নির্দিষ্ট করা থাকে৷

হারমেটিক CUDA/CUDNN সংস্করণ নিয়ন্ত্রণ করে পরিবেশের ভেরিয়েবল

HERMETIC_CUDA_VERSION এনভায়রনমেন্ট ভেরিয়েবলে মেজর, মাইনর এবং প্যাচ CUDA ভার্সন থাকা উচিত, যেমন 12.3.2 । HERMETIC_CUDNN_VERSION এনভায়রনমেন্ট ভেরিয়েবলে মেজর, মাইনর এবং প্যাচ CUDNN ভার্সন থাকা উচিত, যেমন 9.1.1 ।

Bazel কমান্ডের জন্য পরিবেশ ভেরিয়েবল সেট করার তিনটি উপায়:

# Add an entry to your `.bazelrc` file
build:cuda --repo_env=HERMETIC_CUDA_VERSION="12.3.2"
build:cuda --repo_env=HERMETIC_CUDNN_VERSION="9.1.1"

# OR pass it directly to your specific build command
bazel build --config=cuda <target> \
--repo_env=HERMETIC_CUDA_VERSION="12.3.2" \
--repo_env=HERMETIC_CUDNN_VERSION="9.1.1"

# If .bazelrc doesn't have corresponding entries and the environment variables
# are not passed to bazel command, you can set them globally in your shell:
export HERMETIC_CUDA_VERSION="12.3.2"
export HERMETIC_CUDNN_VERSION="9.1.1"

যদি HERMETIC_CUDA_VERSION এবং HERMETIC_CUDNN_VERSION উপস্থিত না থাকে, তবে হারমেটিক CUDA/CUDNN সংগ্রহস্থলের নিয়মগুলি TF_CUDA_VERSION এবং TF_CUDNN_VERSION এনভায়রনমেন্ট ভেরিয়েবলের মানগুলি সন্ধান করবে৷ এটি নন-হার্মেটিক CUDA/CUDNN সংগ্রহস্থলের নিয়মগুলির সাথে পশ্চাদপদ সামঞ্জস্যের জন্য তৈরি করা হয়েছে৷

ডাউনলোড করার জন্য CUDA সংস্করণ এবং NCCL বিতরণ সংস্করণের মধ্যে ম্যাপিং তৃতীয়_পক্ষ/gpus/cuda/hermetic/cuda_redist_versions.bzl- এ নির্দিষ্ট করা আছে

হারমেটিক CUDA কনফিগার করুন

1. XLA-এর উপর নির্ভরশীল ডাউনস্ট্রিম প্রকল্পে, WORKSPACE ফাইলের নীচে নিম্নলিখিত লাইনগুলি যোগ করুন:

   load(
      "@tsl//third_party/gpus/cuda/hermetic:cuda_json_init_repository.bzl",
      "cuda_json_init_repository",
   )
   
   cuda_json_init_repository()
   
   load(
      "@cuda_redist_json//:distributions.bzl",
      "CUDA_REDISTRIBUTIONS",
      "CUDNN_REDISTRIBUTIONS",
   )
   load(
      "@tsl//third_party/gpus/cuda/hermetic:cuda_redist_init_repositories.bzl",
      "cuda_redist_init_repositories",
      "cudnn_redist_init_repository",
   )
   
   cuda_redist_init_repositories(
      cuda_redistributions = CUDA_REDISTRIBUTIONS,
   )
   
   cudnn_redist_init_repository(
      cudnn_redistributions = CUDNN_REDISTRIBUTIONS,
   )
   
   load(
      "@tsl//third_party/gpus/cuda/hermetic:cuda_configure.bzl",
      "cuda_configure",
   )
   
   cuda_configure(name = "local_config_cuda")
   
   load(
      "@tsl//third_party/nccl/hermetic:nccl_redist_init_repository.bzl",
      "nccl_redist_init_repository",
   )
   
   nccl_redist_init_repository()
   
   load(
      "@tsl//third_party/nccl/hermetic:nccl_configure.bzl",
      "nccl_configure",
   )
   
   nccl_configure(name = "local_config_nccl")
   

2. হারমেটিক CUDA এবং CUDNN এর নির্দিষ্ট সংস্করণ নির্বাচন করতে, যথাক্রমে HERMETIC_CUDA_VERSION এবং HERMETIC_CUDNN_VERSION পরিবেশের ভেরিয়েবল সেট করুন৷ শুধুমাত্র সমর্থিত সংস্করণ ব্যবহার করুন. আপনি এনভায়রনমেন্ট ভেরিয়েবলগুলি সরাসরি আপনার শেল বা .bazelrc ফাইলে সেট করতে পারেন যেমন নীচে দেখানো হয়েছে:

   build:cuda --repo_env=HERMETIC_CUDA_VERSION="12.3.2"
   build:cuda --repo_env=HERMETIC_CUDNN_VERSION="9.1.1"
   build:cuda --repo_env=HERMETIC_CUDA_COMPUTE_CAPABILITIES="sm_50,sm_60,sm_70,sm_80,compute_90"
   

3. পরীক্ষা সম্পাদনের সময় হারমেটিক CUDA সক্ষম করতে, বা বেজেলের মাধ্যমে বাইনারি চালানোর সময়, আপনার বেজেল কমান্ডে --@local_config_cuda//cuda:include_cuda_libs=true পতাকা যোগ করতে ভুলবেন না। আপনি এটি সরাসরি একটি শেল বা .bazelrc এ প্রদান করতে পারেন:

   build:cuda --@local_config_cuda//cuda:include_cuda_libs=true
   

   এক্সিকিউটেবল পরীক্ষা করার জন্য CUDA নির্ভরতা সঠিকভাবে প্রদান করা হয়েছে তা নিশ্চিত করার জন্য পতাকাটির প্রয়োজন। CUDA বাইনারিগুলিতে Google-মুক্ত পাইথন চাকার অবাঞ্ছিত সংযোগ এড়াতে পতাকাটি ডিফল্টরূপে মিথ্যা।

4. CUDA ফরওয়ার্ড সামঞ্জস্যতা মোড প্রয়োগ করতে, আপনার বেজেল কমান্ডে --@cuda_driver//:enable_forward_compatibility=true পতাকা যোগ করুন। আপনি এটি সরাসরি একটি শেল বা .bazelrc এ প্রদান করতে পারেন:

   test:cuda --@cuda_driver//:enable_forward_compatibility=true
   

   ডিফল্ট পতাকা মান false ।

   যখন CUDA ফরওয়ার্ড সামঞ্জস্য মোড অক্ষম করা হয়, তখন ব্যাজেল লক্ষ্যগুলি সিস্টেমে পূর্বে ইনস্টল করা ব্যবহারকারী মোড এবং কার্নেল মোড ড্রাইভার ব্যবহার করবে৷

   যখন CUDA ফরোয়ার্ড সামঞ্জস্য মোড সক্ষম করা হয়, তখন Bazel লক্ষ্যগুলি ব্যাজেল ক্যাশে এবং কার্নেল মোড ড্রাইভার সিস্টেমে পূর্বে ইনস্টল করা CUDA ড্রাইভার পুনরায় বিতরণ থেকে ব্যবহারকারী মোড ড্রাইভার ব্যবহার করবে। এটি পুরানো কার্নেল মোড ড্রাইভার ব্যবহার করার সময় নতুন CUDA টুলকিট বৈশিষ্ট্য সক্রিয় করার অনুমতি দেয়।

   ফরোয়ার্ড সামঞ্জস্য মোড শুধুমাত্র তখনই প্রয়োগ করা উচিত যখন এটি উপযুক্ত - বিস্তারিত জানার জন্য NVIDIA ডকুমেন্টেশন দেখুন।

হারমেটিক CUDA/CUDNN সংস্করণ আপগ্রেড করুন

1. তৃতীয়_পক্ষ/gpus/cuda/hermetic/cuda_redist_versions.bzl- এ আপডেট হওয়া CUDA_REDIST_JSON_DICT , CUDA_REDIST_JSON_DICT অভিধানগুলির সাথে একটি পুল অনুরোধ তৈরি করুন এবং জমা দিন।

   প্রয়োজনে CUDA_NCCL_WHEELS থার্ড_পার্টি/gpus/cuda/hermetic/cuda_redist_versions.bzl- এ আপডেট করুন।

   প্রয়োজনে REDIST_VERSIONS_TO_BUILD_TEMPLATES তৃতীয়_পার্টি/gpus/cuda/hermetic/cuda_redist_versions.bzl- এ আপডেট করুন।

2. প্রতিটি Google ML প্রকল্পের জন্য .bazelrc ফাইলে আপডেট করা HERMETIC_CUDA_VERSION এবং HERMETIC_CUDNN_VERSION সহ একটি পৃথক পুল অনুরোধ তৈরি করুন৷

   পিআর প্রি-সাবমিট চাকরির মৃত্যুদণ্ড বেজেল পরীক্ষা শুরু করবে এবং হারমেটিক CUDA/CUDNN বিতরণ ডাউনলোড করবে। পিআর জমা দেওয়ার আগে প্রি-সাবমিট জব পাস হয়েছে কিনা যাচাই করুন।

স্থানীয় ফাইল সিস্টেমে CUDA/CUDNN/NCCL পুনরায় বিতরণের দিকে ইঙ্গিত করা

আপনি স্থানীয় CUDA/CUDNN/NCCL dirs ব্যবহার করতে পারেন পুনঃবন্টনের উৎস হিসেবে। নিম্নলিখিত অতিরিক্ত পরিবেশ ভেরিয়েবল প্রয়োজন:

LOCAL_CUDA_PATH
LOCAL_CUDNN_PATH
LOCAL_NCCL_PATH

উদাহরণ:

# Add an entry to your `.bazelrc` file
build:cuda --repo_env=LOCAL_CUDA_PATH="/foo/bar/nvidia/cuda"
build:cuda --repo_env=LOCAL_CUDNN_PATH="/foo/bar/nvidia/cudnn"
build:cuda --repo_env=LOCAL_NCCL_PATH="/foo/bar/nvidia/nccl"

# OR pass it directly to your specific build command
bazel build --config=cuda <target> \
--repo_env=LOCAL_CUDA_PATH="/foo/bar/nvidia/cuda" \
--repo_env=LOCAL_CUDNN_PATH="/foo/bar/nvidia/cudnn" \
--repo_env=LOCAL_NCCL_PATH="/foo/bar/nvidia/nccl"

# If .bazelrc doesn't have corresponding entries and the environment variables
# are not passed to bazel command, you can set them globally in your shell:
export LOCAL_CUDA_PATH="/foo/bar/nvidia/cuda"
export LOCAL_CUDNN_PATH="/foo/bar/nvidia/cudnn"
export LOCAL_NCCL_PATH="/foo/bar/nvidia/nccl"

CUDA dir-এর ভিতরে ফোল্ডারগুলির গঠন নিম্নরূপ হওয়া উচিত (যেমন সংরক্ষণাগারভুক্ত পুনঃবন্টনগুলি এক জায়গায় আনপ্যাক করা হয়েছে):

<LOCAL_CUDA_PATH>/
    include/
    bin/
    lib/
    nvvm/

CUDNN dir-এর ভিতরে ফোল্ডারগুলির গঠন নিম্নরূপ হওয়া উচিত:

<LOCAL_CUDNN_PATH>
    include/
    lib/

NCCL dir-এর ভিতরে ফোল্ডারগুলির গঠন নিম্নরূপ হওয়া উচিত:

<LOCAL_NCCL_PATH>
    include/
    lib/

কাস্টম CUDA/CUDNN সংরক্ষণাগার এবং NCCL চাকা

তিনটি বিকল্প রয়েছে যা কাস্টম CUDA/CUDNN বিতরণের ব্যবহারের অনুমতি দেয়৷

কাস্টম CUDA/CUDNN পুনর্বন্টন JSON ফাইল

এই বিকল্পটি Google ML প্রকল্পগুলিতে সমস্ত CUDA/CUDNN নির্ভরতার জন্য কাস্টম বিতরণ ব্যবহার করার অনুমতি দেয়৷

1. cuda_redist.json এবং/অথবা cudnn_redist.json ফাইল তৈরি করুন।

   cuda_redist.json show নিচের ফরম্যাটটি অনুসরণ করুন:

   {
      "cuda_cccl": {
         "linux-x86_64": {
            "relative_path": "cuda_cccl-linux-x86_64-12.4.99-archive.tar.xz",
         },
         "linux-sbsa": {
            "relative_path": "cuda_cccl-linux-sbsa-12.4.99-archive.tar.xz",
         }
      },
   }
   

   cudnn_redist.json show নিচের ফরম্যাট অনুসরণ করুন:

   {
      "cudnn": {
         "linux-x86_64": {
            "cuda12": {
            "relative_path": "cudnn/linux-x86_64/cudnn-linux-x86_64-9.0.0.312_cuda12-archive.tar.xz",
            }
         },
         "linux-sbsa": {
            "cuda12": {
            "relative_path": "cudnn/linux-sbsa/cudnn-linux-sbsa-9.0.0.312_cuda12-archive.tar.xz",
            }
         }
      }
   }
   

   relative_path ক্ষেত্রটি সম্পূর্ণ URL-এর জন্য full_path দিয়ে প্রতিস্থাপিত হতে পারে এবং file:/// দিয়ে শুরু হওয়া পরম স্থানীয় পাথ।

2. XLA-এর উপর নির্ভরশীল ডাউনস্ট্রিম প্রকল্পে, WORKSPACE ফাইলে hermetic cuda JSON সংগ্রহস্থল কল আপডেট করুন। ওয়েব লিঙ্ক এবং স্থানীয় ফাইল পাথ উভয়ই অনুমোদিত। উদাহরণ:

   _CUDA_JSON_DICT = {
      "12.4.0": [
         "file:///home/user/Downloads/redistrib_12.4.0_updated.json",
      ],
   }
   
   _CUDNN_JSON_DICT = {
      "9.0.0": [
         "https://developer.download.nvidia.com/compute/cudnn/redist/redistrib_9.0.0.json",
      ],
   }
   
   cuda_json_init_repository(
      cuda_json_dict = _CUDA_JSON_DICT,
      cudnn_json_dict = _CUDNN_JSON_DICT,
   )
   

   JSON ফাইলে ডিস্ট্রিবিউশনের আপেক্ষিক পাথ থাকলে, পাথ উপসর্গটি cuda_redist_init_repositories() এবং cudnn_redist_init_repository() কলে আপডেট করা উচিত। উদাহরণ

   cuda_redist_init_repositories(
      cuda_redistributions = CUDA_REDISTRIBUTIONS,
      cuda_redist_path_prefix = "file:///usr/Downloads/dists/",
   )
   

কাস্টম CUDA/CUDNN বিতরণ

এই বিকল্পটি Google ML প্রকল্পে কিছু CUDA/CUDNN নির্ভরতার জন্য কাস্টম বিতরণ ব্যবহার করার অনুমতি দেয়।

1. XLA এর উপর নির্ভরশীল ডাউনস্ট্রিম প্রকল্পে, নীচের লাইনগুলি সরান:

   <...>
      "CUDA_REDIST_JSON_DICT",
   <...>
      "CUDNN_REDIST_JSON_DICT",
   <...>
   
   cuda_json_init_repository(
      cuda_json_dict = CUDA_REDIST_JSON_DICT,
      cudnn_json_dict = CUDNN_REDIST_JSON_DICT,
   )
   
   load(
      "@cuda_redist_json//:distributions.bzl",
      "CUDA_REDISTRIBUTIONS",
      "CUDNN_REDISTRIBUTIONS",
   )
   

2. একই WORKSPACE ফাইলে, ডিস্ট্রিবিউশন পাথ সহ অভিধান তৈরি করুন।

   CUDA বিতরণ সহ অভিধানটি নীচের বিন্যাসটি অনুসরণ করে:

   _CUSTOM_CUDA_REDISTRIBUTIONS = {
      "cuda_cccl": {
         "linux-x86_64": {
            "relative_path": "cuda_cccl-linux-x86_64-12.4.99-archive.tar.xz",
         },
         "linux-sbsa": {
            "relative_path": "cuda_cccl-linux-sbsa-12.4.99-archive.tar.xz",
         }
      },
   }
   

   CUDNN ডিস্ট্রিবিউশন সহ অভিধানটি নীচের বিন্যাসটি অনুসরণ করে:

   _CUSTOM_CUDNN_REDISTRIBUTIONS = {
      "cudnn": {
         "linux-x86_64": {
            "cuda12": {
            "relative_path": "cudnn/linux-x86_64/cudnn-linux-x86_64-9.0.0.312_cuda12-archive.tar.xz",
            }
         },
         "linux-sbsa": {
            "cuda12": {
            "relative_path": "cudnn/linux-sbsa/cudnn-linux-sbsa-9.0.0.312_cuda12-archive.tar.xz",
            }
         }
      }
   }
   

   relative_path ক্ষেত্রটি সম্পূর্ণ URL-এর জন্য full_path দিয়ে প্রতিস্থাপিত হতে পারে এবং file:/// দিয়ে শুরু হওয়া পরম স্থানীয় পাথ।

3. একই WORKSPACE ফাইলে, তৈরি অভিধানগুলিকে সংগ্রহস্থলের নিয়মে পাস করুন। ডিকশনারিতে ডিস্ট্রিবিউশনের আপেক্ষিক পাথ থাকলে, পাথ প্রিফিক্স cuda_redist_init_repositories() এবং cudnn_redist_init_repository() কলে আপডেট করা উচিত।

   cuda_redist_init_repositories(
      cuda_redistributions = _CUSTOM_CUDA_REDISTRIBUTIONS,
      cuda_redist_path_prefix = "file:///home/usr/Downloads/dists/",
   )
   
   cudnn_redist_init_repository(
      cudnn_redistributions = _CUSTOM_CUDNN_REDISTRIBUTIONS,
      cudnn_redist_path_prefix = "file:///home/usr/Downloads/dists/cudnn/"
   )
   

   উপরের বিকল্পগুলির সংমিশ্রণ

নীচের উদাহরণে, CUDA_REDIST_JSON_DICT _CUDA_JSON_DICT এ কাস্টম JSON ডেটার সাথে মার্জ করা হয়েছে, এবং CUDNN_REDIST_JSON_DICT _CUDNN_JSON_DICT এর সাথে মার্জ করা হয়েছে।

_CUDA_DIST_DICT এ বন্টন ডেটা ফলস্বরূপ CUDA JSON ফাইলের বিষয়বস্তুকে ওভাররাইড করে, এবং _CUDNN_DIST_DICT এর বিতরণ ডেটা ফলে CUDNN JSON ফাইলের সামগ্রীকে ওভাররাইড করে৷ NCCL চাকার ডেটা CUDA_NCCL_WHEELS এবং _NCCL_WHEEL_DICT থেকে মার্জ করা হয়েছে।

load(
    //third_party/gpus/cuda/hermetic:cuda_redist_versions.bzl",
    "CUDA_REDIST_PATH_PREFIX",
    "CUDA_NCCL_WHEELS",
    "CUDA_REDIST_JSON_DICT",
    "CUDNN_REDIST_PATH_PREFIX",
    "CUDNN_REDIST_JSON_DICT",
)

_CUDA_JSON_DICT = {
   "12.4.0": [
      "file:///usr/Downloads/redistrib_12.4.0_updated.json",
   ],
}

_CUDNN_JSON_DICT = {
   "9.0.0": [
      "https://developer.download.nvidia.com/compute/cudnn/redist/redistrib_9.0.0.json",
   ],
}

cuda_json_init_repository(
   cuda_json_dict = CUDA_REDIST_JSON_DICT | _CUDA_JSON_DICT,
   cudnn_json_dict = CUDNN_REDIST_JSON_DICT | _CUDNN_JSON_DICT,
)

load(
   "@cuda_redist_json//:distributions.bzl",
   "CUDA_REDISTRIBUTIONS",
   "CUDNN_REDISTRIBUTIONS",
)

load(
   "//third_party/gpus/cuda/hermetic:cuda_redist_init_repositories.bzl",
   "cuda_redist_init_repositories",
   "cudnn_redist_init_repository",
)

_CUDA_DIST_DICT = {
   "cuda_cccl": {
      "linux-x86_64": {
            "relative_path": "cuda_cccl-linux-x86_64-12.4.99-archive.tar.xz",
      },
      "linux-sbsa": {
            "relative_path": "cuda_cccl-linux-sbsa-12.4.99-archive.tar.xz",
      },
   },
   "libcusolver": {
      "linux-x86_64": {
            "full_path": "file:///usr/Downloads/dists/libcusolver-linux-x86_64-11.6.0.99-archive.tar.xz",
      },
      "linux-sbsa": {
         "relative_path": "libcusolver-linux-sbsa-11.6.0.99-archive.tar.xz",
      },
   },
}

_CUDNN_DIST_DICT = {
   "cudnn": {
      "linux-x86_64": {
            "cuda12": {
               "relative_path": "cudnn-linux-x86_64-9.0.0.312_cuda12-archive.tar.xz",
            },
      },
      "linux-sbsa": {
            "cuda12": {
               "relative_path": "cudnn-linux-sbsa-9.0.0.312_cuda12-archive.tar.xz",
            },
      },
   },
}

cudnn_redist_init_repositories(
   cuda_redistributions = CUDA_REDISTRIBUTIONS | _CUDA_DIST_DICT,
   cuda_redist_path_prefix = "file:///usr/Downloads/dists/",
)

cudnn_redist_init_repository(
   cudnn_redistributions = CUDNN_REDISTRIBUTIONS | _CUDNN_DIST_DICT,
   cudnn_redist_path_prefix = "file:///usr/Downloads/dists/cudnn/"
)

load(
    "//third_party/nccl/hermetic:nccl_redist_init_repository.bzl",
    "nccl_redist_init_repository",
)

_NCCL_WHEEL_DICT = {
   "12.4.0": {
      "x86_64-unknown-linux-gnu": {
            "url": "https://files.pythonhosted.org/packages/38/00/d0d4e48aef772ad5aebcf70b73028f88db6e5640b36c38e90445b7a57c45/nvidia_nccl_cu12-2.19.3-py3-none-manylinux1_x86_64.whl",
      },
   },
}

nccl_redist_init_repository(
   cuda_nccl_wheels = CUDA_NCCL_WHEELS | _NCCL_WHEEL_DICT,
)

অপ্রচলিত: অ-হারমেটিক CUDA/CUDNN ব্যবহার

যদিও নন-হার্মেটিক CUDA/CUDNN ব্যবহার অবমূল্যায়িত করা হয়েছে, এটি কিছু পরীক্ষা-নিরীক্ষার জন্য ব্যবহার করা হতে পারে যা বর্তমানে আনুষ্ঠানিকভাবে অসমর্থিত (উদাহরণস্বরূপ, CUDA-এর সাথে উইন্ডোজে চাকা তৈরি করা)।

Google ML প্রকল্পগুলিতে স্থানীয়ভাবে ইনস্টল করা নন-হার্মেটিক CUDA ব্যবহার করার পদক্ষেপগুলি এখানে রয়েছে:

1. XLA এর উপর নির্ভরশীল প্রকল্পের WORKSPACE ফাইল থেকে hermetic CUDA সংগ্রহস্থলের নিয়মে কলগুলি মুছুন৷

2. WORKSPACE ফাইলের নীচে নন-হারমেটিক CUDA সংগ্রহস্থলের নিয়মগুলিতে কলগুলি যুক্ত করুন৷

   XLA এবং JAX এর জন্য:

   load("@tsl//third_party/gpus:cuda_configure.bzl", "cuda_configure")
   cuda_configure(name = "local_config_cuda")
   load("@tsl//third_party/nccl:nccl_configure.bzl", "nccl_configure")
   nccl_configure(name = "local_config_nccl")
   

   Tensorflow এর জন্য:

   load("@local_tsl//third_party/gpus:cuda_configure.bzl", "cuda_configure")
   cuda_configure(name = "local_config_cuda")
   load("@local_tsl//third_party/nccl:nccl_configure.bzl", "nccl_configure")
   nccl_configure(name = "local_config_nccl")
   

3. নীচের দেখানো হিসাবে আপনার শেল বা .bazelrc ফাইলে সরাসরি নিম্নলিখিত পরিবেশ ভেরিয়েবল সেট করুন:

   build:cuda --action_env=TF_CUDA_VERSION=<locally installed cuda version>
   build:cuda --action_env=TF_CUDNN_VERSION=<locally installed cudnn version>
   build:cuda --action_env=TF_CUDA_COMPUTE_CAPABILITIES=<CUDA compute capabilities>
   build:cuda --action_env=LD_LIBRARY_PATH=<CUDA/CUDNN libraries folder locations divided by “:” sign>
   build:cuda --action_env=CUDA_TOOLKIT_PATH=<preinstalled CUDA folder location>
   build:cuda --action_env=TF_CUDA_PATHS=<preinstalled CUDA/CUDNN folder locations divided by “,” sign>
   build:cuda --action_env=NCCL_INSTALL_PATH=<preinstalled NCCL library folder location>
   

   মনে রাখবেন যে TF_CUDA_VERSION এবং TF_CUDNN_VERSION শুধুমাত্র প্রধান এবং ছোট সংস্করণগুলি নিয়ে গঠিত হওয়া উচিত (যেমন CUDA এর জন্য 12.3 এবং CUDNN এর জন্য 9.1 )।

4. এখন আপনি স্থানীয়ভাবে ইনস্টল করা CUDA এবং CUDNN ব্যবহার করতে bazel কমান্ড চালাতে পারেন।

   XLA এর জন্য, কমান্ড অপশনে কোন পরিবর্তনের প্রয়োজন নেই।

   JAX-এর জন্য, Bazel কমান্ড অপশনে --override_repository=tsl=<tsl_path> পতাকা ব্যবহার করুন।

   Tensorflow এর জন্য, Bazel কমান্ড অপশনে --override_repository=local_tsl=<tsl_path> পতাকা ব্যবহার করুন।