توضیحات
بارگذاری داده (Data Loading) یکی از اساسی ترین فرآیندها در پیاده سازی هوش تجاری (BI) است که شامل استخراج، تبدیل، و بارگذاری (ETL) داده ها از منابع مختلف داده به یک مخزن متمرکز و یا معمولاً یک انبار داده است. هدف اصلی بارگذاری داده ها در BI جمع آوری، سازماندهی و آماده سازی داده ها برای تجزیه و تحلیل و ساخت گزارش ها است. این فرآیند تضمین میکند که دادهها در قالبی سازگار و ساختار یافته هستند که میتواند به راحتی توسط ابزارها و برنامههای BI، تجزیه و تحلیل و تجسم شود.
- SSIS مخفف SQL Server Integration Services است.
- این یک ابزار ذخیره سازی داده است که برای استخراج داده ها ، بارگذاری داده ها در یک پایگاه داده دیگر (ETL)و همچنین عملیاتی همچون تمیز کردن ، جمع شدن ، ادغام داده ها ، اتصال به فایل (Excel ,CSV,XML,…) ،اتصال به بانک اطلاعاتی ، ارسال ایمیل ، عملیات FTP ,…استفاده می شود.
- می توانید از SSIS برای به روز رسانی بانک های اطلاعاتی بزرگ (Data warhouse)، عملیات واکاری داده ها (Data Mining)، دانلود یا کپی کردن فایل های بانک های اطلاعاتی و یا استخراج و انتقال اطلاعات از XML به SQL و غیره استفاده کنید.
نکته حائز اهمیت این هست که تمام سناریوها مستقل می باشند و یک عملی از صفر تا صد انجام می شود و بر حسب نیاز هر کدام از سناریوها را برای عملیات ETL می توانید تهیه کنید
SSIS Incremental Load به معنای مقایسه جدول هدف با داده های منبع بر اساس ستون های فنی InsertionDate، UpdateDate و DeletionDate است.
منطق مانند زیر است :
اگر رکوردهای جدیدی در داده های منبع وجود داشته باشد، باید آن رکوردها را در جدول هدف وارد کنیم.
اگر مقادیر به روز شده ای در داده های منبع وجود دارد، باید آن رکوردها را در جدول هدف به روز کنیم.
اگر مقادیر حذف شده ای در داده های منبع وجود دارد، توصیه می شود آنها را در جدول هدف نگه دارید و تاریخ حذف را دقیق کنید.
رویکرد های بارگذاری داده در انباره داده :
- بارگذاری کامل (Full Load)
در این روش هر بار ما همه ی داده ها مقصد را پاک می کنیم و داده ها را مجددا وارد انباره داده می کنیم. فرض کنید می خواهیم با داده های سیستم مالی کار کنیم چه احتیاجی هست داده های سال های گذشته مجددا پاک و دوباره وارد انباره داده شوند ! طبیعتا در این روش زمان زیادی برای به روز رسانی پکیج ها طی خواهد شد.
- بارگذاری تدریجی داده ها (Incremental Data Load)
در این روش ما فقط تغییرات را وارد انباره داده می کنیم درواقع رکوردهایی که اضافه شده اند ، تغییر یافته اند و یا حذف شده اند وارد انباره داده خواهند شد ، طبیعتا در این روش با داده های کمتری در ارتباط هستیم و پکیج های به روز رسانی اطلاعات در سریعترین حالت ممکن اجرا خواهند شد.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.