داده بطرز باور نکردنی ارزان و همه جا وجود دارد . ما در حال دیجیتال کردن محتویاتی می باشیم که در طی قرن ها ایجاد شده است و با حجم بسیار بالایی از اطلاعات با نوع های جدید نظیر لاگ های وب ، شبکه  های اجتماعی ، دستگاه های موبایل ، سنسورها ، تجهیزات اندازه گیری و تراکنش ها مواجه هستیم .به موازات این کار ، فناوری های جدیدی در حال ظهور است تا قادر به سازماندهی بهمن داده باشیم . ما هم اینک می توانیم الگوها و قواعدی را در داده ها و تمامی نوع ها شناسایی کنیم که به ما اجازه استفاده از دستاوردهای متعددی را در حوزه های مختلفی نظیر بهبود شرایط انسانی ، ایجاد ارزش اجتماعی و تجاری را می دهد.ظهور داده های عظیم  یا Big Data  این ظرفیت و پتانسیل را ایجاد کرده است که بتوانیم عمیق تر پدیده های محیط اطراف خود را از سیستم های فیزیکی و بیولوژیکی گرفته تا رفتارهای اقتصادی و اجتماعی بهتر شناسایی و تحلیل  کرده  و بر اساس  آن بهترین  تصمیمات را اتخاذ نماییم.

داده های عظیم        
داده عظیم ، به مجموعه داده هایی اطلاق می گردد که حجم و سرعت تولید  آنها بیش از ظرفیت و  امکانات بانک های اطلاعاتی مرسوم برای ضبط ، ذخیره سازی ، مدیریت و تحلیل داده است و  نتوان آنها را با یک پردازشگر معمولی پردازش کرد . شکل 1 ،  سه ویژگی مهم  داده های  عظیم را نشان می دهد . بکی از مهمترین چالش های پردازش اطلاعات در عصر حاضر با لحاظ کردن واقعیت بسیار مهمی با نام big data ، سرعت و میزان پاسخگویی راه حل های فعلی است. در زمان  کار با  داده های عظیم با پرسش های متعددی مواجه می شویم : منشاء تولید این گونه داده ها کجاست؟ این نوع داده ها با چه سرعتی و حجمی تولید می شوند؟ زیرساخت های لازم برای مدیریت و تحلیل این نوع داده ها چیست؟ آیا با استمداد از راه حل های فعلی می توان اطلاعات را با سرعت مناسب پردازش کرد ؟ آیا منطقی است که تحلیل حجم عظیمی از داده ، ساعت ها و یا حتی روزها بطول بیانجامد ؟  بکارگیری داده های عظیم چه چالش ها و یا فرصت هایی را برای یک سازمان فراهم بوجود می آورد ؟ آیا با فناوری ها  و  روش های موجود می توان از مزایای داده های عظیم استفاده کرد ؟ چگونه می توان از داده های عظیم  به منظور خلق ارزش های جدید استفاده کرد و  آن را به یک مزیت رقابتی تبدیل کرد؟


گزارش موسسه تحقیقاتی مکنزی       
موسسه مکنزی در گزارشی که در سال  2011  و  با عنوان  "مرز بعدی برای نوآوری، رقابت و بهره وری"  منتشر کرده است به  برخی از واقعیت های بسیار مهم در حوزه داده های عظیم اشاره کرده است که با توجه به اهمیت آن به برخی از نکات مهم اشاره می گردد .

• فراگیر شدن داده در هر صنعت و کسب و کار  بگونه ای که هم اینک داده به یکی از اجزای مهم و کلیدی در چرخه تولید  و  عرضه محصول و یا سرویس تبدیل شده است .  : گروه های مطالعاتی متعددی بر روی این موضوع کار کرده اند که چه میزان داده در سطح جهان تولید ، ذخیره و مصرف می شود. با این که حوزه کاری آنها با یکدیگر متفاوت بوده است و هر یک به نتایج خاصی در آن حوزه بخصوص دست یافته اند ولی تمامی آنها به رشد نمایی داده درسالیان اخیر بطور مشترک اشاره داشته اند . رشد نمایی داده همچنان به روند خود ادامه خواهد داد و با بکارگیری فناوری ها ، پلت فرم ها و قابلیت های تحلیل جهت برخورد با داده ، شاهد نوآوری و خلاقیت های متعددی در این حوزه خواهیم بود . تحلیل رفتار مشتریان در زندگی دیجیتالی هر یک ، نمونه ای از دستاوردهای مهم درحوزه مدیریت و تحلیل صحیح داده های عظیم در هر بنگاه اقتصادی است .
• داده های عظیم قادر به تولید ارزش با  روش های مختلفی  می باشند : در این گزارش به  پنج روش اشاره شده است که سازمان ها می توانند با بکارگیری هر یک از آنها در  مسیر خلق ارزش های جدید برای کسب و کار خود اقدام  نمایند . 
  •  ایجاد شفافیت
  • بکارگیری تجارب  به  منظور تشخیص نیازها ، ارایه تنوع و بهبود عملکرد 
  •  بخش بندی جامعه هدف به منظور ارایه سرویس  های کاملا سفارشی
  • جایگزینی تصمیم گیری انسانی با الگوریتم های اتوماتیک
  •  نوآوری جدید در خصوص  مدل های کسب و کار  ، محصولات و سرویس ها
•  استفاده از داده های عظیم به یکی از مزایای کلیدی رقابت و رشد سازمان ها تبدیل شده است  :  استفاده از داده های عظیم به یکی از روش های کلیدی سازمان های پیش رو برای عملکرد بهتر نسبت به رقبا تبدیل شده است . افزایش سهم خود در یک بازار رقابتی نمونه ای در این زمینه است . در دنیای رقابتی داده های عظیم ، یک بنگاه کسب و کار که نتواند ظرفیت های خود را به منظور استفاده از داده های عظیم ارتقاء دهد ،قطعا نسبت به سایر  رقبا عقب  خواهد افتاد . داده های عظیم همچنین به ایجاد و رشد فرصت های جدید کمک خواهد کرد و طبیعی است که شاهد گروه جدیدی از شرکت ها باشیم که بطور کاملا تخصصی بر روی موضوعاتی نظیر تجمیع و تحلیل داده فعالیت خواهند کرد .بسیاری از این بنگاه های اقتصادی ، شرکت هایی می باشند که بر روی حجم بالایی از جریان اطلاعات ( به عنوان نمونه : داده محصولات و سرویس ها ، خریداران و فروشندگان ،اولویت های مصرف کنندگان ) نشسته و قادر به ضبط و تحلیل داده خواهند بود .این موضوع برای شرکت هایی که دارای اینترفیس های مناسب با حجم بالایی از مشتریان خریدار یک مجموعه از محصولات و سرویس ها، شرکت های فعال در زنجیره تامین جهانی ، شرکت هایی که روزانه میلیون ها تراکنش را پردازش می کنند و  شرکت هایی که پلت فرم های لازم برای تجریه دیجیتالی مصرف کنندگان را فراهم می کنند ،بسیارجذاب و قابل تامل است . تمامی این فرصت ها ، با مدیریت مناسب داده های عظیم فراهم می گردد . برخی از این فرصت ها ، منابع جدیدی از ارزش را تولید خواهند کرد و برخی دیگر،  باعث تغییر نگرش تولید ارزش در بسیاری از صنایع خواهند شد.
•  استفاده از داده های عظیم ، زیربنای موج جدیدی از رشد بهره وری و افزایش مصرف کننده را به دنبال خواهد داشت  : بر اساس مطالعات انجام شده در پنج حوزه مختلف ، داده های عظیم باعث تقویت زیربنای موردنیاز به منظور افزایش بهره وری می گردند . بگونه ای که سازمان ها را قادر می سازد خروجی با کیفیت بهتری را تولید کنند ( به عنوان نمونه افزایش ارزش افزوده محصولات و سرویس ها ) . مثلا سازمان ها می توانند با بهره برداری از داده ، محصولاتی را طراحی نمایند که با نیاز مشتریان بهتر مطابقت می نماید .حتی می توان از داده در جهت بهبود محصولاتی که توسط مشتریان استفاده می گردد نیز کمک گرفت .به عنوان نمونه یک دستگاه موبایل را در نظر بگیرید که بر اساس شناختی که نسبت به رفتار صاحب خود پیدا کرده است ، می تواند برنامه ها و داده ها را متناسب با نیاز کاربر نگهداری نماید . این چنین دستگاه های موبایل  ، دارای ارزش بمراتب بیشتری نسبت به  یک دستگاه موبایل جدید  می باشند که بر اساس نیاز کاربر سفارشی نشده است .
• با این که استفاده از داده های عظیم ،یک دغدغه مهم  در بین حوزه های مختلف کسب و کار است ولی برخی از حوزه ها دارای استعداد  بمراتب بیشتری جهت  بهره برداری از مزایای آن می باشند: مطالعات انجام شده بین حوزه های مختلف کسب و کار نشان می دهد که الگوی بهره برداری از مزایای داده های عظیم بین آنها متفاوت است . حوزه اطلاعات و محصولات کامپیوتر و الکترونیک یکی از حوزه های پیشگام در این زمینه است که توانسته است با مدیریت صحیح داده های عظیم ، بهره وری خود را بطرز محسوسی افزایش دهد. بخش های مالی ،بیمه و دولتی حوزه بعدی استفاده از داده های عظیم به منظور افزایش کارآیی می باشند . با این که تمامی حوزه ها لازم است که بر مشکلات موجود به منظور خلق ارزش با استفاده از داده های عظیم غلبه نمایند ، ولی مشکلات به سهم مساوی بین آنها تقسیم نشده است و برخی حوزه ها دارای مشکلات بمراتب بیشتری نسبت به سایر بخش ها می باشند . مثلا بخش های عمومی  نظیر  مراکز  آموزشی با موانع جدی تری مواجه هستند .بدیهی است بخش هایی که تاکنون  سرمایه گذاری اندکی بر روی فناوری اطلاعات کرده اند ، دارای مشکلات و موانع بیشتری می باشند .
• کمبود نیروی انسانی مستعد و ماهر در سازمان ها جهت بهره برداری از مزایای داده های عظیم : یکی از محدودیت های مهم به منظور بهره برداری از مزایای داده های عظیم و خلق ارزش ، کمبود نیروی انسانی مستعد و ماهر خصوصا در مواردی همچون حوزه آمار و یادگیری ماشین  است.همچنین ، کمبود مدیران و تحلیل گرانی که با نحوه تولید بینش از داده های عظیم در سازمان ها آشنا باشند مزیت بر علت است  . این انتظار وجود دارد که داده های عظیم به یکی از عوامل مهم و کلیدی رقابت بین بخش های مختلف تبدیل شود و تقاضا برای مشاغل تحلیلی در حوزه داده های عظیم روز به روز بیشتر گردد . هم اینک در اکثر قریب به اتفاق کشورهای جهان  این نیاز با وضعیت موجود نیروی های مستعد در این زمینه همخوانی ندارد  و  تربیت این نوع نیروی انسانی مستعد ،کار ساده ای نیست و مستلزم سال ها آموزش است . به عنوان نمونه ،تربیت تحلیل گر  داده های عظیم در امریکا تا سال 2018 به حدود  300 هزار نفر  خواهد رسید در صورتی که تا سال 2018 به چیزی حدود 440 تا 490 هزار نیروی انسانی مستعد در این حوزه نیاز است . با استناد به وضعیت بازار عرضه و تقاضای تحلیل گران داده در امریکا ، شاهد کمبود 140 تا 190 هزار نیروی انسانی مستعد در این حوزه می باشیم . این  وضعیت صرفا در رابطه با امریکا صدق نمی کند و پیش بینی می شود که سایر کشورها خصوصا کشورهای صنعتی نیز وضعیتی مشابه داشته باشند . علاوه بر این ، پیش بینی شده است که در امریکا به  5  / 1 میلیون مدیر و تحلیل گر دیگر  تا سال  2018 نیاز باشد که قادر به طرح صحیح سوالات و استفاده از نتایج تحلیل داده های عظیم بطور موثر باشند .

 

• به منظور بهره برداری از ظرفیت داده های عظیم به مسائل مختلفی باید پاسخ داده شود :
  • سیاست های داده : به موازات افزایش حجم داده و جابجایی آن بین محدوده های سازمانی ، به مجموعه ای از مسائل مرتبط با سیاست گذاری مواجه خواهیم شد که بسیارحائز اهمیت می باشند . حفظ حریم خصوصی ، امنیت ، مالکیت معنوی ومسئولیت نمونه هایی در این زمینه می باشند. حفظ حریم خصوصی بسیار حائز اهمیت است خصوصا در ارتباط با مصرف کنندگان . اطلاعات شخصی نظیر رکوردهای مالی و یا پرونده پزشکی افراد نمونه هایی در این زمینه می باشند . همچنین ، امنیت داده نیز بسیار حائز اهمیت است . چگونه اطلاعات حساس و سایر اطلاعات مهم حفاظت و نگهداری گردند. اقتصاد رو به رشد داده های عظیم مجموعه ای از مسائل قانونی را به دنبال داشته است خصوصا اگر به این واقعیت توجه داشته باشیم که داده دارای تفاوت های اساسی نسبت به سایر سرمایه ها است .داده را می توان بطور کامل و به سادگی تکثیر و با سایر داده ها ترکیب نمود . بخشی از داده می تواند بطور همزمان و توسط بیش از یک فرد  استفاده  گردد . تمامی این موارد ، ویژگی های منحصربفرد داده را در مقایسه با سایر سرمایه های فیزیکی نشان می دهد. در این خصوص لازم است به پرسش های مختلفی در رابطه با داده پاسخ داده شود : چه کسی مالک بخشی از داده است و چه حقوقی مرتبط با یک مجموعه داده است؟ استفاده منصفانه از داده چگونه تعریف می گردد ؟ همچنین ، پرسش هایی در خصوص مسئولیت داده مطرح می شود : چه کسی مسئول داده غلطی می باشد که ممکن است مسائل و مشکلات بعدی را ایجاد نماید ؟
  • فناوری و روش ها : به منظور  استخراج  ارزش از داده های عظیم ، لازم است سازمان ها  از فناوری های مختلف جدیدی ( به عنوان نمونه در حوزه هایی نظیر ذخیره سازی ، محاسبات و نرم افزارهای تحلیلی) و روش های مدرن (نظیر انواع جدید تحلیل)  استفاده نمایند . دامنه چالش های فناوری و مجموعه اولویت ها جهت برخورد با مسائل داده های عظیم با توجه به سطح بلوغ داده سازمان ها متفاوت است . سیستم های قدیمی ، استانداردهای ناسازگار و قالب های نامتجانس ، اغلب باعث بروزمشکلات عدیده ای در خصوص یکپارچگی داده و تجزیه و تحلیل های پیچیده می گردد . مسائل جدید و رشد قدرت پردازش ما را به سمت ایجاد روش های تحلیل جدید هدایت می کند . همچنین به نوآوری مستمر در حوزه فناوری ها و ابداع  روش های جدیدی نیاز است تا به افراد و سازمان ها کمک کند تا بتوانند یکپارچه سازی ، تحلیل، بصری سازی و مصرف داده های عظیم را به خوبی انجام دهند.
  • تغییرات سازمانی و استعداد: رهبران سازمان ها اغلب دارای شناخت مناسبی از ارزش داده های عظیم نمی باشند و نمی دانند که چگونه می بایست از این فرصت طلایی در سازمان خود رمزگشایی نمایند. علاوه بر این ، بسیاری از سازمان ها دارای نیروی انسانی مستعد جهت استخراج بینش از داده نمی باشند . همچنین، بسیاری از سازمان ها دارای ساختار مناسبی برای جریان های کاری و انگیزه های لازم برای بهینه سازی استفاده از داده های عظیم درجهت اتخاذ تصمیم بهتر نمی باشند.
  • دستیابی به داده : برای فعال کردن فرصت تحول ، سازمان ها نیاز به یکپارچه سازی اطلاعات از چندین منبع داده دارند. در برخی مواردی ممکن است بتوان با پرداخت هزینه های مربوطه ، دستیابی به یک منبع داده خاص را فراهم کرد ولی دربسیاری از موارد همچنان دستیابی به منابع داده خارج از سازمان مشکل و چالش های مختص به خود را دارد و در بسیاری از موارد امکان به اشتراک گذاشتن آن وجود ندارد چراکه ممکن است این تصور وجود داشته باشد که از داده موجود می توان به عنوان یک مزیت رقابتی برای کسب و کار خود استفاده کرد و نباید آن را به اشتراک گذاشت.

خلاصه
امروزه بنگاه های کسب و کار نسبت به ده های گذشته دارای توان بیشتری جهت دستیابی ، تجمیع و تولید ارزش از داده می باشند . سازمان ها با این سوال مواجه هستند که چگونه می توان از داده استفاده موثرتری را داشت  و از آن در جهت تولید ارزش در سازمان خود استفاده کرد . استفاده از داده محدود به داده تولید شده در سازمان نمی گردد و می توان از سایر داده های مرتبط و در دسترس نیز استفاده کرد. داده های عظیم ، این قول را داده است که بتواند در تمامی صنایع انقلابی به مفهوم واقعی ایجاد کند .
توانایی ما جهت استخراج ارزش اقتصادی و اجتماعی از داده های جدید و موجود به عوامل مختلفی بستگی دارد. کار با این حجم داده نیازمند ابزارها و مهارت های جدید است. اطلاعات به اندازه ای زیاد هستند که نمی توان آنها را در یک کامپیوتر قرار داد تا به کمک ابزارهای آماری و بانک های اطلاعاتی سنتی با آنها کار کرد و یا به کمک نرم افزارهای گرافیکی استاندارد آنها را ارایه کرد . کمبود نیروی انسانی متخصص و ماهر  یکی از مهمترین چالش های موجود  به  منظور بهره برداری از فرصت های ایجاد شده توسط داده های عظیم است . شاید به  همین دلیل باشد که علم داده (Data Science )  که تلفیقی از علوم اجتماعی ، علم آمار ، علم اطلاعات و علوم کامپیوتر است طراحی شده است .
امروزه بسیاری از دانشگاه های معتبر دنیا نظیر مدرسه اطلاعات دانشگاه برکلی یا دانشگاه هاپکینز  با ارایه این علم به صورت  پودمانی و یا  دوره های تحصیلات تکمیلی  پیشگام حل معظل کمبود نیروی انسانی ماهر در  حوزه داده های عظیم شده اند . 
بپذیریم  ، با نگاه  محدود و سنتی به  داده نمی توان در جهت خلق ارزش از داده در عصر  شدیدا رقابتی حاضر گام برداشت . حل یک مساله جدید با نگاهی سنتی و  بکارگیری ابزارهای قدیمی که فاقد کارآیی لازم حتی در زمان خود بوده اند ، فرصت بهره برداری از مزایای پاسخ صحیح به یک مساله را از بین خواهد برد . فرصت هایی که شاید جبران آنها امکان پذیر نباشد چراکه حرکت رقبا مشروط به سوار شدن ما بر مرکب نیست .