آموزش جامع یک پارچه سازی SQL Server یا SSIS (بخش سوم)

آموزش جامع یک پارچه سازی SQL Server یا SSIS (بخش سوم)

در این بخش با مفاهیم زیر در سری آموزش های ssis آشنا خواهید شد
سورس ها
تبدیل ها
مقصد ها
متغییر ها
پارامتر ها

 

آموزش یکپارچه سازی SQL Server یا SSIS

در این بخش با مفاهیم زیر در سری آموزش های ssis آشنا خواهید شد
سورس ها
تبدیل ها
مقصد ها
متغییر ها
پارامتر ها

 

آموزش یکپارچه سازی SQL Server یا SSIS

سورس ها

یک سورس یکی از اجزاء هست که به محیط طراحی روند داده اضافه میکنید تا محل قرارگیری داده سورس را تعیین کنید که داده ها را به اجزاء پایین دستی میفرستد. سورس ها تنظیم شدن تا از CONNECTION MANAGERها برای قادر ساختن شما از استفاده دوباره ارتباط ها در پکیج خود استفاده شوند. SSIS 8 سورس را در اخیار شما قرار می دهد:
  • OLE DB Source: تقریبا به هر سورس داده OLE DB وصل میشود.
  • Excel Source: مخصوص دریافت داده از صفحات EXCEL است. این سورس همچنین اجرای کوئری های SQL را در مقابل صفحات EXCEL آسان میکند که مقدار داده ای که شما میخواهید میان روند پاس دهید را محدود می کند.
  • Flat File Source: یک فایل محدود یا با طول معین رو وصل میکند.
  • Raw File Source: یک فایل مخصوص با فرمت باینری از داده ای که در حال عبور است می سازد که مخصوصا در SSIS سرعت بالایی دارد. این جزء یکی از اندک اجزائی هست که از CONNECTION MANAGER استفاده نمیکنند.
  • Xml Source: داده را از فایل XML بدست می آورد. این سورس برای تنظیمات از CONNECTION MANAGER استفاده نمیکند.
  • ADO.NET Source: این سورس همانند OLE DB ولی فقط برای سورس های بر پایه ADO.NET هست. اجرای داخلی از ADO.NETDATAREADER به عنوان سورس استفاده میکند. ارتباط ADO.NET خیلی شبیه آن که در .NET FRAMEWORK هنگام کدنویسی دستی یک ارتباط و بازیابی از یک دیتابیس است.
  • CDC Source: داده ها را در جدول هایی با CHANGE DATA CAPTURE یا CDC فعال، میخواند که برای بازیابی فقط سطر هایی که در یک بازه زمانی تغییر کرده اند استفاده میشود.
  • ODBC Source: داده های جدول را با ODBC به جای OLE DB میخواند. در پکیج SSIS بین OLE DB و ODBC انتخاب OLE DB همچنان بهتر هست.
اگر این سورس های موجود در SSIS قادر به انجام تابع های مورد نظر شما نیستند، میتوانید با نوشتن کد برنامه .NET به هر سورس داده که دست یافتنی هست وصل شوید. یک روش استفاده از SCRIPT COMPONENT برای ساخت یک جریان سورس با استفاده از کتابخانه های موجود .NET هست. این روش برای برنامه های یکبار مصرف کارآمد هست. اگر میخواهید از یک سورس سفارشی خود در چند پکیج استفاده کنید میتوانید یکی را با SSIS .NET API و OBJECT MODAL توسعه دهید.

تبدیل ها

TRANSFORMATIONها اجزاء کلیدی در روند داده هستند که اجازه تغییر داده ها درون لوله های داده را میدهند. شما میتوانید از تبدیل ها برای جدا کردن، ادغام یا انحراف داده ها در لوله استفاده کنید. همینطور داده میتواند با استفاده از قوانین تعیین شده اعتبار سنجی، پاکسازی و یا رد بشود. برای مثال اگر میخواهید داده شما اعتبار سنجی و طبقه بندی شود میتوانید به راحتی با دراپ کردن یک SORT و LOOKUP TRANSFORMATION توی محیط طراحی روند داده و تنظیم کردن آن این کار رو انجام بدید.
اجزاء تبدیل در روند داده SSIS روی داده ها در لوله و در حافظه اثر می گزارند. چون این پروسه در حافظه انجام میشود سرعت بالاتری نسبت به روش های دیگر دارد. لیست تبدیل ها و هدف اون ها را در زیر مشاهده میکنید:
  • Aggregate: داده را از تبدیل یا سورس جمع میکند.
  • Audit: اطلاعات حسابرسی را از پکیج در لوله داده نمایش میدهد مثل زمان اجرا و کاربر اجرا کننده پکیج.
  • CDC Splitter: بعد از خوانده شدن داده از جدول با CDC فعال این تبدیل داده هایی را که باید وارد، جدید و پاک بشوند را میفرستد.
  • Character Map: تغییرات رشته ای معمول داده ها مثل نوشته با حروف بزرگ یا کوچک را انجام میدهد.
  • Conditional Split: داده را بر اساس انجام شدن یک شرط جدا میکند. مثلا یک داده به یک مسیر دیگه فرستاده شود اگر ستون STATE مساوی با FLORIDA باشد.
  • Copy Column: کپی یک ستون را به خروجی تبدیل اضافه میکند که بعد میتوانید کپی را تبدیل کنید و اصلی را حفظ کنید.
  • Data Conversion: نوع داده یک ستون را به نوعی دیگه تبدیل میکند.
  • Data Mining Query: کوئری استخراج داده در مقابل ANALYSIS SERVICES اجرا میشود.
  • Derived Column: یک ستون جدید DRIVED حساب شده از یک عبارت را میسازد.
  • DQS Cleansing: پاکسازی داده پیشرفته را با موتور DATA QUALITY SERVICES اجرا میکند.
  • Export Column: یک ستون را از روند داده به فایل سیستمی خارج میکند. مثلا میتوانید یک ستون که حاوی عکس هست رو به فایل تبدیل کنید.
  • Fuzzy Grouping: پاکسازی را با پیدا کردن سطر های مشابه و کپی انجام میدهد.
  • Fuzzy Lookup: داده ها را براساس منطق FUZZY پیدا و استاندارد میکند. مثلا JON را به JOHN تبدیل میکند.
  • Import Column: داده را از ایمیل میخواند و به روند داده اضافه میکند.
  • Lookup: یک جستجو را روی داده اجرا میکند تا بعد در تبدیل استفاده بشود. برای مثال با این تبدیل میشود شهری را بر اساس کد پستی جستجو کرد.
  • Merge: دو داده را در یک داده در روند داده ذخیره میکند.
  • Merge Join: دو داده را در یک داده با تابع JOIN ذخیره میکند.
  • Multicast: یک کپی داده را به یک مسیر فرعی در روند کار اضافه میکند.
  • OLE DB Command: یک دستور OLE DB رو برای هر سطر در روند داده اجرا میکند.
  • Percentage Sampling: یک نمونه از داده در روند داده با درصدی از تعداد کل سطر های روند داده را ثبت میکند.
  • Pivot: داده را در یک جدول به فرم غیر مرتبط می چرخاند به این معنی که داده ها رو به چند روش تکه تکه میکند شبیه OLAP و EXCEL.
  • Row Count: شمار سطر ها را از روند داده به در یک متغیر قرار میدهد.
  • Row Sampling: یکه نمونه از داده را از روند داده با استفاده از شمار سطر های کل سطر های روند داده نگه می دارد.
  • Script Component: از یک اسکریپت برای تبدیل داده استفاده میکند که میتوانید برای اضافه کردن منطق های مخصوص تجاری به روند داده از آن استفاده کنید.
  • Slowly Changing Dimension: ورود یا تغییر مشروط داده رو به یک میزان با تغییر آرام هماهنگ میکند.
  • Sort: داده رو با ستون داده شده در روند داده طبقه بندی میکند.
  • Term Extraction: در داده متنی یک اسم یا صفت رو جستجو میکند.
  • Term Lookup: اصطلاحات استخراج شده از متن را جستجو میکند و یک مقدار را از جدول بازگشتی بازگشت میدهد.
  • Union All: چند ست داده را در یک ست داده ادغام میکند.
  • Unpivot: داده ها را از فرم غیر مرتبط به فرم مرتبط می چرخاند.

مقصد ها

درون روند داده، DESTIATIONها داده را بعد از اینکه لوله داده از اجزاء تبدیل خارج شد تحلیل می کند. معماری شکل پذیر میتواند داده را تقریبا به تمام OLE DB، فایل تخت یا سورس داده ADO.NET بفرستد. همانند سورس ها، مقصد ها مقصد ها هم با CONNECTION MANAGER مدیریت می شود. مقصد های زیر در SSIS موجود هستند:
  • ADO.NET Destination: داده را در پروسه های خارجی نمایش می دهد، مثل اپلیکیشن .NET.
  • Data Mining Model Training: یک مدل استخارج ANALYSIS SERVICES را با پاس دادن داده از روند داده به مقصد ارائه میکند.
  • Data Reader Destination: به رابط ADO.NET DATAREADER اجازه می دهد تا داده را نمایش دهد، مثل مورد اول.
  • Dimension Processing: یک بعد ANALYSIS SERVICES را بارگزاری و پروسه آن را انجام می دهد و میتواند یک رفرش کامل، رفرش به روز رسانی یا رفرش افزایشی را روی بعد ارائه می کند.
  • Excel Destination: داده را از روند داده به یک صفحه EXCEL خروجی می گیرد.
  • Flat File Destination: اجازه می دهد داده را روی فایل با طول معین یا فایل محدود به کاما نوشته شود.
  • ODBC Destination: داده را در یک ارتباط داده ODBC مثل SQL SERVER، DB2 یا ORACLE خروجی می گیرد.
  • OLE DB Destination: داده را در یک ارتباط داده OLE DB مثل SQL SERVER، ORACLE، ACCESS خروجی می گیرد.
  • Partition Processing: اجازه ی انجام پروسه افزایشی، به روز رسانی یا کامل یک پارتیشن ANALYSIS SERVICES را به شما می دهد.
  • Raw File Destination: یک خروجی فایل با فرمت باینری به شما می دهد که بعد میتواند به عنوان یک RAW FILE SOURCE استفاده شود. معمولا برای مکانیزم ماندگاری متوسط(intermediate persistence) استفاده می شود.
  • Recordset Destination: رکورد ها را در یک ست رکورد ADO می نویسد. زمانی که در یک متغییر شئ نوشته شد میتواند در یک حلقه به روش های مختلف در SSIS اجرا شود مثل یک تسک اسکریپت یا یک حلقه FOREACH.
  • SQL Server Compact Edition Destination: داده را در  SQL SERVER که نسخه COMPACT محصول روی یکه موبایل یا PC در حال اجراست وارد میکند.
  • SQL Server Destination: مقصدی که برای نوشتن داده در SQL SERVER استفاده می کنید. این مقصد بسیار محدود کننده است مثل توانایی که مجبور می کند فقط SQL SERVER را در وقت اجرا پکیج SSIS بنویسید. برای مثال اگر پکیجی برای کپی کردن داده از سرور 1 به سرور 2 می نویسید، پکیج حتما باید روی سرور 2 اجرا شود. این مقصد بیشتر برای سازگاری با قبل هست و نباید استفاده شود.

متغییر ها

متغییر ها یکی از اجزاء اساسی دیگر معماری SSIS هستند. متغییر های SSIS میتوانند برای ارزیابی در یک عبارت هنگام اجرا ست شوند. همینطور میتوانید برای ست کردن در روند داده با تسک اسکریپت یا تسک عبارت(EXPRESSION TASK) از آن ها استفاده کنید. متغییر ها در SSIS تبدیل به روشی برای تبادیل بین خیلی از تسک ها و تبدیل ها شده که هدف متغییر ها را مهم تر می سازد. بطور پیشفرض متغییر های SSIS در یک محدوده پکیج قرار می گیرند ولی میتوانند به سطح های مختلف دیگر در یک پکیج محدود شوند همانطور که در بخش CONTAINERها گفته شد.

پارامتر ها

پارامتر ها بسیار شبیه متغییر ها ولی همراه با تعداد کمی استثنا عمل می کنند. پارامتر ها، همانند متغییر ها، میتوانند یک پکیج را پویا کنند. بزرگترین تفاوت میان آن ها این است که پارامتر ها میتوانند به راحتی بیرون یک پکیج ست شده و میتوانند به عنوان یک مقدار که حتما برای شروع پکیج باید پاس داده شوند تعین می شوند، مثل یک پارامتر اینپوت روش های ذخیر شده. پارامتر ها جایگزین قابلیت CONFIGURATIONها در نسخه های قبلی SQL SERVER شده اند.
 

نظرات یا سوالات خودرا با ما درمیان بگذارید

0912 097 5516 :شماره تماس
0713 625 1757 :شماره تماس