پایان نامه بررسی انبار داده

دسته: فنی و مهندسی 

پایان نامه بررسی انبار داده در 232 صفحه ورد قابل ویرایش

قیمت فایل فقط 6,400 تومان

پایان نامه بررسی انبار داده در 232 صفحه ورد قابل ویرایش

1-1          مقدمه: سیر تحول

منشاء اصلی پردازش DSS به روزهای خیلی دور در تاریخ سیستمهای کامپیوتری و اطلاعاتی بر می‌گردد. جالب است بدانیم که سیستمهای پشتیبان تصمیم دارای قدمت طولانی وپیچیده در تکنولوژی اطلاعاتی است.و سیر تحول آن تا به امروز ادامه داشته است .]3[

درحدود دهه1960 جهان کامپیوتر موفق به‌ایجاد نرم افزارهایی شد که با استفاده از فایلهای Master اجرا می‌شدند.این نرم افزارها در قالب برنامه ها و گزارشاتی بودند‌‌‌‌‌‌‌‌‌‌‌، که معمولاٌ به زبان COBOL نوشته می‌شد. پانچ کارتها یک ابزار ذخیر سازی عمومی به حساب می‌آمدند. فایلهای Master توسط نوارهای مغناطیسیی نگهداری می‌شدند که برای ذخیره سازی ارزان قیمت حجم زیادی از داده مناسب بودند، اما بخاطر‌اینکه دسترسی به اطلاعات می‌بایست به صورت متوالی باشد‌این روش زیاد مفید نبود. در یک گذار در فایل نوار مغناطیسی که از100% رکوردها عبور می‌شود، عموما فقط 5 درصد ازاین رکوردها یا حتی کمتر مورد نظر بودند. بعلاوه بسته به داده درون فایل و پردازشی که باید روی آن انجام می‌شد، دسترسی به فایل نوار ورودی بیشتر از 20 تا 30 دقیقه به طول می‌انجامید.]3[

در اواسط دهه 1960، به طور گسترده‌ای رشد استفاده از فایلهای Master و نوار مغناطیسی افزایش یافتند و در پی آن مقادیر هنگفتی داده افزونه نیز به وجود آمد. ازدیاد فایل Master و داده افزونه منجر به بروز چندین مشکل شد:]3[

-        نیاز به داده همزمان به محض عمل به روز رسانی

-          پیچیدگی نگهداری برنامه ها

-          پیچیدگی‌ایجاد برنامه‌های جدید

-          نیاز به سخت افزار گران برای پشتیبانی کلیه فایلهای Master

جالب است که اگر فقط ابزار ذخیره سازی داده، نوار مغناطیسی باشد، جهان پردازش اطلاعات شاهد هیچ پیشرفتی نبود، . اگر هرگز چیزی برای ذخیره داده حجیم به وجود نمی آمد، سیستمهای سریع و خیلی بزرگ درجهان ظاهر نمی‌‌شد، ونیز هرگز سیستمهای ATM و شبیه آن به وجود نمی‌‌آمد. حقیقتا، اگر قابلیت ذخیره سازی و مدیریت داده در انواع جدید ابزارهای ذخیره سازی وجود نداشت، هرگز بستر لازم برای همکاری تکنسینها و تجار با هم به وجود نمی آمد.]3[

2-1          1-2 ظهور DASD

در 1970 تقریبا هر روز یک تکنولوژی جدید برای ذخیره سازی و دسترسی داده به وجود می‌آمد.در دهه 1970 زمان تحول وسیله ذخیره سازی دستیابی مستقیم (DASD )بود. دیسک ذخیره سازی اصولا با نوار مغناطیسی از نظر قابلیت دسترسی مستقیم تفاوت داشت. ونیازی نبود که رکوردها 1,2,…,n تا n+1 رکورد مرور شود.]3[

آدرس رکورد n+1 ام شناخته شده بود، موضوع ساده‌ای بود که بفهمیم رکورد n+1 ام دقیقا در کجای دیسک قرار دارد. از‌این گذشته، زمان مورد نیاز برای دسترسی به رکورد n+1 ام، کمتر از زمان مورد نیاز برای مرور یک نوار بود. در حقیقت زمان مورد نیاز برای قرار دادن یک رکورد در DASD فقط به اندازه چند میلی ثانیه بود.]3[

به همراه DASD نوع جدیدی از نرم افزارها تولید شد که به عنوان یک سیستم مدیریت

بانک اطلاعاتی مطرح گردید. هدف از ساخت DBMS بدین منظور بود که برای برنامه نویسان ذخیره سازی و دستیابی داده در محیطDASD آسان گردد.به علاوه‌این ابزار، عملیات مختلفی را برای ذخیره سازی داده در DASD، از جمله فهرست گذاری داده و غیره راانجام می‌داد. از طریق DASD وDBMSیک راه حل تکنیکی برای حل مشکلات فایلهای Master پدید آمد.وهمچنین موضوع بانک اطلاعاتی مطرح شد.با وجود آشفتگی که فایلهای Master‌ایجاد کرده بودند و داده افزونه جمع آوری شده از آنها بسیارزیاد بود، بدین سبب عجیب نبود که در دهه 1970 بانک اطلاعاتی تعریف شده به عنوان یک منبع مجزای داده برای کلیه پردازشها مورد استفاده قرار گیرد.]3[

دراواسط دهه 1970 پردازش تراکنش بر خط (OLTP) دسترسی سریعتر به داده را امکان پذیر ساخت. باباز شدن کلیه چشم اندازهای جدید برای تجارت و پردازش، اکنون کامپیوتر می‌تواند برای انجام اعمالی که قبلا غیر ممکن به نظر می‌رسید، مثل سیستمهای رزور درایو، سیستمهای پاسخگوی بانک، سیستمهای کنترل ساخت و مانند آن مورد استفاده قرار گیرد.اگر دنیا در مرحله استفاده از فایل نوار مغناطیسی باقی می‌ماند، ساخت بیشتر سیستمهایی که امروزه تولید می‌شود امکان پذیر نبود.]3[

3-1          تکنولوژی زبانهای نسل چهارم وکامپیوترهای شخصی

در دهه 1980 اکثر تکنولوژیهای جدید، مثل کامپیوترهای شخصی و زبانهای نسل چهارم، شروع به فعالیت نمودند.کاربر نهایی نقش جدی را به عهده گرفت- کنترل مستقیم داده و سیستم – که نقش قبلی رزرو شده برای پردازنده داده بود. از طریق کامپیوترهای شخصی و زبانهای نسل چهارم موقعیتی پیش آمد که کاربر بیشتر می‌توانست با داده درپردازش تراکنشهای بر خط ارتباط برقرار کند. MIS (سیستمهای اطلاعات مدیریتی)، همانطور که قبلا به کار می‌رفت، می‌توانست پیاده سازی شود. امروزه همانطور که سیستمهای پشتیبان تصمیم شناخته شدند، سیستمهای اطلاعات مدیریتی نیز برای تصمیمهای مدیریتی استفاده شدند.در گذشته داده و تکنولوژی با هم استفاده می‌شد تا تصمیمات عملیاتی جزئی اتخاذ شود.اما هیچ بانک اطلاعاتی نمی‌‌تواند هم پردازش تراکنش عملیاتی و هم پردازش تحلیلی را در یک زمان انجام دهد.شکل 1-1 نمونه‌ای از بانک اطلاعاتی را نشان می‌دهد.]3[

-2-1 معماری و قابلیتهای محصول

در این ابزار هم اجزاء کلیدی یک ابزار استخراج ، انتقال، و بارگذاری (ETL) و هم ابزارهای طراحی محصول مورد نظر موجود می باشد.به علاوه Warehouse Builder برمبنای تکنولوژی اوراکل پایه ریزی شده است و نیز نقطه عطف تجمع ابزارهای "هوشمند تجاری" با ابزارهای "درخواست موردی" مثل OLAPو امکانات بانک اطلاعاتی رابطه ای است. [6]

معماری Warehouse Builder شامل دو بخش "محیط طراحی" و "محیطruntime " است که "محیط طراحی" مدیریت فراداده و "محیط runtime " مسئولیت داده فیزیکی را برعهده دارند. [6]

5-2-1-1 محیط طراحی

این بخش شامل مخزن فراداده است که در یک بانک اطلاعاتی اوراکل و مجموعه ای از ابزارهای طراحی و گزارشگیری نوشته شده با Java یا HTML ذخیره شده است.از طریق این ابزارها فراداده می تواند مشاهده و اصلاح شود . [6]

Warehouse Builder طراحی شماهای بانک اطلاعاتی رابطه ای ،شماهای چند بعدی، پردازشهای ETL و ابزار کاربر نهایی را از طریق محیطهای client پشتیبانی می کند. [6]

سیستمهای منبع نقش مهمی را در پردازش ETL بازی می کنند.به جای ایجاد فراداده به صورت دستی، Warehouse Builder دارای اجزایی است که اطلاعات لازم را به داخل مخزن منتقل می کند.

یکی از قابلیتهای معماری این است که مدیریت چرخه کاری را طوری پشتیبانی می کند که فراداده برمبنای تغییران درسیستم منبع قابل بروز رسانی باشد. [6]

سپس Warehouse Builder این تغییرات را به پردازشهای ETL و سیستمهای مقصد منتشر می کند. [6]

به هدف ایجاد و ارزیابی فراداده ، یک محیط گزارشگیری از فراداده به صورت web وجود دارد . محیط گزارشگیری امکان مرور و بررسی اجزاء سیستم بدون استفاده از ابزارهای طراحی  به کاربران و سازندگان می دهد.یکی از اجزاء خیلی مهم این محیط گزارشگیری قابلیتهای تحلیل فشرده می باشد که تغییرات فشرده سیستم را قبل از ساخته شدن مشخص می کند.گزارشگیری تحلیل فشرده کنترل بهتر تغییرات و برنامه ریزی بهتر برای پیاده سازی این تغییرات را پشتیبانی می کند.قابلیت معکوس این مورد یعنی مرور اینکه داده از کدام منبع آمده است گزارشگیری Lineage داده گفته می شود که درWarehouse Builder ایجاد شده است. [6]

5-2-1-2 محیط runtime 

آنچه که کاربر در سطح منطقی طراحی کرده است باید به محیط بانک اطلاعاتی فیزیکی منتقل شود. قبل از انجام این کار ، اطلاعات محیط بانک اطلاعاتی به طراحی منطقی افزوده شده تا محیط مقصد برای ساختن پیکربندی شود.بعد ازآنکه پیکربندی تکمیل شد،کد می تواند تولید شود. [6]

Warehouse Builder زبان خاص استخراج برای پردازش ETL و مراحل SQL DDL برای اشیاء بانک اطلاعاتی را تولید می کند.کد تولید شده خواه به صورت سیستم فایل یا درون بانک اطلاعاتی ایجاد می شود. [6]

انجام توابع ETL به معنی اجرای کد تولید شده در بانک اطلاعاتی است.این امر می تواند با استفاده از مدیر ساخت Warehouse builder یا از طریق ابزار خارجی مثل  Enterprise manager انجام شود.در نهایت پردازش ETL داده منبع را به درون بانک اطلاعاتی مقصد منتقل می کند.این داده می تواند ناحیه  staging ،یک ذخیره داده عملیاتی،یک انبارداده یا هر شمای دیگر باشد. بخشهای کد خارجی از بانک اطلاعاتی Oracle در محیط مربوط به خود اجرا می شوند. [6]

به منظور گزارشگیری از بارگذاری داده، کد تولید شده توسط OWB باید شامل روالها ی بازبینی باشد. این روالها اطلاعات بارگذاری را به درون جداول runtime نرم افزار OWB ثبت می کنند. اطلاعات به دست آمده در حال اجرای کد می تواند شامل تعداد سطور انتخاب شده ، اضافه شده و به روز رسانی شده است. اگر مشکلی حین تبدیل یا بارگذاری داده رخ دهد ، گزارش روال بازبینی مشکل جداول را مشخص می کند. به منظور دسترسی آسانتر و گزارشگیری ساده از این اطلاعات runtime ، OWB  محیط مرورگر بازبینی زمان اجرا را فراهم ساخته است. [6]

5-3 راهکار مجتمع Oracle Warehouse Builder

ایجاد یک نرم افزار هوشمند تجاری یک پردازش پیچیده می باشد. مراجل و فازهای مختلفی درگیر می باشد، که ممکن است ظرفیت تهداد زیادی از سیستمها ، منابع، و نواحی عملکردی را بگیرد. OWB این گونه پیچیدگیها را به منظور حصول به یک نرم افزار مجزا با در نظر گرفتن موارد مقیاس پذیری ، قابلیت اطمینان و انعطاف پذیری آن کاهش می دهد. عمده قابلیتهای OWB شامل موارد زیر می باشد:

-                     تعریف import داده منبع

-                     طراحی و ایجاد شمای بانک اطلاعاتی هدف

-                     تعریف انتفال و تبدیل داده بین سیستم مبدا و مقصد

-                     تعیین وابستگیهای بین پردازشهای ETL

-                     مدیریت و به روز رسانی تعاریف داده

-                     گسترش، به روز رسانی، و مدیریت شماهای هدف

-                     طراحی و ایجاد محیط بازیابی موردی

-                     طراحی و ایجاد یک محیط OLAP

5-4 تعریف اشیاء

پس از جمع آوری نیازمندیهای انباره داده یا data mart ، آماده طراحی سیستم مورد نظر در warehouse builder هستیم.اکثر مدلسازیها در ماجول انباره داده قرارمی گیرد . در این بخش قصد داریم نحوه ایجاد ماجول انباره داده و اشیاء آن را ارائه کنیم. [6]

5-4-1  ایجاد ماجول انباره

با استفاده از درختواره مرورگر OWB   از گره database یک ماجول ایجاد می نماییم. در صفحه مربوط به اطلاعات اتصالات ، گزینه های لازم جهت database link به منظور ورود فراداده به ماجول انباره وجود دارد. [6]

در بخش بعد می بایست یک Location  در درختواره ایجاد کرد.Location  ها ، ابزارها و شماهای بانک اطلاعاتی را ارائه می کنند که شامل انواع ماجولها برای بانکهای اطلاعاتی Oracle یا غیر  Oracle، SAP ، یا سیستم فایها می باشد کگه درون این درختواره تحت این ماجولها سازماندهی شده است. زمانیکه یکLocation  ایجاد می کنید، یک تعریف منطقی شامل نوع Location و نسخه آن ثبت می شود ونیز  اطلاعات اتصالات فیزیکی برای ثبت در Runtime Repository موردنیاز است. [6]

قیمت فایل فقط 6,400 تومان