Data - Center هاي جديد

واضح آرشیو وب فارسی:راسخون:

Data - Center هاي جديد چشم اندازي از آينده مصرف برق مرکز داده ها ( Data Center) پروژه " عدم منازعه قدرت " بيشتر به يک سيستم سياسي آرماني شباهت دارد که در آن، احزاب عمومي در کنار يکديگر به نفع عموم مردم کار مي کنند. اما در واقع، اين نامي است که يکي از محققين HP ازآن براي رؤياي خود در زمينه يک Data Center هماهنگ استفاده مي کند. Parthasarathy Ranganathan که يکي از محققين شرکت HP است، آينده اي را پيش بيني مي کند که در آن ويژگيهاي مديريت مصرف برق در پردازنده، حافظه، سرور، نرم افزار و سيستم هاي خنک کنندگي پياده سازي خواهد شد. هماهنگي و اشتراک مساعي به يک اصل برتر تبديل خواهد شد. او اين پرسش را مطرح مي کند که :" چه اتفاقي خواهد افتاد اگر تمام اين عناصر را به طور همزمان روشن کنيد؟ چگونه اطمينان حاصل مي کنيد که سيستم منفجر نخواهد شد؟" به گفته Ranganathan سيستمهاي مديريت مصرف برق بايد به صورت کلي نگرانه عمل کنند، بدون آنکه يک مؤلفه با ديگري تداخل داشته باشد. Ranganathan تنها يکي از محققيني است که در بزرگترين آزمايشگاه هاي صنعتي به چيزي فراتر از Virtualization پردازنده هاي چند هسته اي و يا ساير فناوري هاي محقق شده فکر مي کنند تا ببينند که Data Center هاي آينده چگونه تقاضاي فزاينده براي قابليتهاي پردازشي و بازدهي انرژي را اداره نموده و در عين حال IT را تسهيل مي کنند. يکي ديگر از اين محققين Laura Anderson مديريت IS مرکز تحقيقات Almaden شرکت IBM است. او مي گويد:" من فکر مي کنم که ما در آستانه يک تحول ديگر قرار گرفته ايم. ما به گونه اي درباره انجام کاري براي تسهيل و يکپارچه سازي اين موارد صحبت مي کنيم که تنها انسانها قادر به انجام آن هستند." ابر محاسباتي Cloud Computing يکي ازشيوه هايي که محققين Almaden در حال پيگيري آن هستند، از قبل خود را در ابتکار " ابر آبي" که سه ماه پيش توسط شرکت IBM راه اندازي شد، تثبيت کرده است. تحت معماري " ابر آبي " ( Blue Cloud Enterprise) ها مي توانند دسترسي مشابه اينترنت به ظرفيت پردازش تعداد کثيري از سرورهاي فيزيکي و مجازي را به دست آورند. بدون الزام افزايش تعداد ماشينها به صورت محلي، Enterpriseها صرفه جوئي قابل ملاحظه اي را در زمينه هزينه هاي تجهيز و تدارکات تأسيسات Computing جديد به دست مي آورند. Cloud Computing در عين حال مي تواند به کاهش مصرف فزاينده انرژي کمک کند، بصورتيکه Enterpriseها ديگر نيازي به آماده سازي ظرفيتي که بطور تمام وقت از آن استفاده نمي کنند ، نخواهند داشت. IBM بزودي اين مفهوم را با ارائه سرورهاي BladeCentre خود که با تغذيه برق، پردازنده هاي x86 و نرم افزار مديريت سرويس مجهز شده اند، يک مرحله به پيش خواهد برد. Dennis Quan عضو تيم فني ارشد آزمايشگاه Silicon Valley شرکت IBM مي گويد:"Cloud در يک جعبه البته اگر بتوان چنين چيزي گفت." به گفته Cloud Computing، Quan در سالهاي آتي با حرکت فزاينده Enterprise به سمت IT براي سرويس دهي به بازارهاي آنها، بالغ تر خواهد شد. بدون ترديد سايتهاي Web2.0 که مضمون ايجاد شده توسط کاربر را پست مي کنند در آينده نزديک گسترش بيشتري خواهند يافت و نياز براي Cloud Computing را هدايت مي نمايند. اما تقاضا از سوي Enterpriseهاي عمومي نيز مطرح خواهد بود. او مي گويد:" مجموعه هاي ارائه کننده سرويس هاي مالي بيان مي کنند که ظرفيت فضاي آنها به اتمام رسيده و به دنبال راه حلي براي اين مشکل هستند. آنها بايد يک زير ساختار محاسباتي مقياس پذير را در اختيار داشته باشند." خنک کنندگي با مايع خنک کنندگي با مايع که زماني در Mainframeهاي IBM و سوپرکامپيوترهاي Cray مورد استفاده قرار مي گرفت، احتمالاً به عنوان جايگزيني براي سيستم تهويه مطبوع به Data - Center ها باز خواهد گشت. 42U يک تأمين کننده محصولات Data Center است، در مقاله اي انواع شيوه هاي خنک کنندگي با مايع در حال توسعه خود را تشريح مي کند. اين شيوه ها عبارتند از واحدهاي مدولار خنک کنندگي با مايع که در بين قفسه هاي ( Rack ) سرورها قرار مي گيرند، يک درب جديد در پشت يک قفسه سرور با لوله هائي که آب خنک سرد شده در آنها جريان پيدا مي کنند و قفسه هاي سروري با منابع تغذيه، سيستم توزيع و خنک کنندگي مايع مجتمع. به گفته Ali Alasti، قائم مقام گروه مهندسي سيستمها در Sun Labs، اين آزمايشگاه ها مشغول تحقيق بر روي خنک کنندگي با مايع هستند، اما در جستجوي يک جايگزين مناسب از نظر محيطي براي Freon مي باشند. او مي گويد:" شما تعداد بسيار بيشتري از سيستم هاي خنک کنندگي با مايع را در طول 5 سال آينده خواهيد ديد، اما در قالبي که تا حدودي با ايده ما که نمي خواهيم مردم با همان گاز احاطه شوند که مي تواند برايشان خطرناک باشد، سازگارتر است. پردازش بدون سيم ها Sun Labs با استفاده از شيوه اي که آن را " ارتباط مجاورتي " ( Proximity Communication) مي نامد، بدنبال راهي براي حذف مس از پردازنده ها است. در حال حاضر، سيگنالها با استفاده از سيم هاي مسي از يک تراشه به تراشه ديگر فرستاده مي شوند. با بهره گيري از ارتباط مجاورتي،dieهاي پردازنده مستقيماً با يکديگر تماس برقرار نموده و نياز به پياده سازي سيم ها را از بين مي برند. Hans Eberle يکي از مهندسين ممتاز Sun Labs مي گويد: قاعده اصلي در اين شيوه، استفاده مستقيم از کوپلينگ خازن بر روي die براي انتقال داده ها از يک تراشه به تراشه ديگر است." به گفته Eberle اين فناوري چند سال با استفاده در يک محصول واقعي فاصله دارد. اما پس از آنکه مورد استفاده قرار گيرد، نتيجه حاصله يک افزايش چند صد برابر در چگالي I/O وکاهش مصرف برق خواهد بود. وضعيت امروزي مصرف برق Data - Center ها تجهيزات IT معمولاً يک سوم برق مورد نياز يک Data Center را مصرف مي کنند. بقيه اين سربار انرژي به زير ساختارهاي خنک کنندگي و تغذيه و توزيع برق مربوط مي شود. شکل (1) يک نماي کلي از اين موارد را ارائه مي کند. اتوماسيون مديريت Data Center بر اساس دو مطالعه اي که اخيراً انجام شده اند، مديران Enterprise در تلاش خود براي تحت کنترل نگهداشتن Virtualization معماري سرويس گرا و فناوري هاي Web2.0 و حفظ عملکرد مؤثر آنها، انتظار دارند تا فناوريهاي اتوماسيون بيشتري را مستقرنموده و با بهترين چارچوبهاي آزمايش شده انطباق پيدا کنند. Mary Johnston Turner تحليلگر ارشد تحقيقات بازاري در گزارش ESG ( Enterprise Strategy Group ) تحت عنوان " ارزيابي مديريت زير ساختار و سرويس IT کاملاً غيرممکن خواهد بود." ESG براي نتيجه گيري در مورد نحوه دگرگوني Data - Centerها و نحوه همگام شدن مديران IT با اين تغييرات با 602 نفر ازتصميم گيرندگان IT در سراسر جهان مصاحبه کرده است. بيش از سه چهارم پاسخ دهندگان گفته اند که انتظار دارند Virtualization بطور چشمگير يا متوسطي بر ملزومات مديران IT درطول 24 ماه آتي تأثير بگذارد. اين در حالي است که پيش بيني مي گردد SOAو Web2.0 نيز با " تأثير مشابهي " همراه باشند. تحقيقات آشکار کردند 36 درصد از پاسخ دهندگان که " مؤسسات IT فوق العاده کارآمد" به حساب مي آيند، در حال پياده سازي اتوماسيون جريان کاري مديريت IT در لايه هاي متعدد فناوري نظير سرورها، ذخيره سازي ، نرم افزارهاي کاربردي و ابزارهاي کاربران هستند. 6 درصد از اين سازمانها که از کارائي پائينتري برخوردارند نيز در حال حاضر بر روي اين نوع اتوماسيون مديريت IT سرمايه گذاري کرده اند. Turner مي نويسد:" ESG همچنين متوجه شد که بهترين شيوه هاي مديريت سرويس IT نظير ITIL ( وهمچنين ابزارهاي خودکار مديريت دارائيهاي IT و نظارت خودکار بر رويدادها، ابزارهاي آناليز روابط و دلايل ريشه اي) در محيط هاي IT فوق العاده کارآمد مشارکت دارند." بطور جداگانه، CA ( توليد کننده نرم افزارهاي مديريت )، از يک مطالعه مستقل حمايت کرد که نظرات 300 مدير ارشد اطلاعاتي( CIO ) در سراسر جهان را براي يافتن نحوه استفاده آنها از اتوماسيونData Center و برنامه هايي که براي فناوري هاي پيش رو دارند، مطالعه کرده است. 65 درصد از اين افراد، اشاره کرده اند که بسياري از وظايف Data Center هاي آنها خودکار سازي شده اند و 31 درصد از آنها تحت نظارت متمرکز قرار دارند. بطور متوسط CIO ها گزارش داده اند که امروزه 48 درصد از کارهاي Data Centerهاي خود را خودکارسازي نموده و در نظر دارند تا اين مقدار را در طول 18 ماه آينده به 65 درصد برسانند. ابتکاراتي نظير اختلاط سرورها، Virtualization مديريت عملکرد و همچنين تداوم تجارت و Uptime نياز به اتوماسيون بيشتر را هدايت مي کنند. Ben Scheerer مدير بازاريابي محصولات CA مي گويد:" CIOها بر اين باور هستند که با استفاده از اتوماسيون هدايت شونده بر اساس تقاضا و خط مشي مي توانند با اين چالش ها انطباق پيدا کرده و پاسخ بهتري براي نيازهاي متغير تجاري داشته باشند." CA همچنين دريافته است که استفاده از اتوماسيون مستقيماً به انطباق با فرآيند IT بستگي دارد. نزديک به نيمي از پاسخ دهندگان به اين ارزيابي، اشاره کرده اند که آنها از بهترين چارچوب تکنيکي ITIL استفاده مي کنند، 30 درصد سرگرم تلاش هاي مديريت سرويس تجاري هستند و 23 درصد در حال پياده سازي چيدمان استاندارد COBIT مي باشند. CA معتقد است که انطباق با بهترين شيوه ها پيش از استقرار اتوماسيون، موفقيت بهتر اين فرآيند را تضمين مي کند. Sam Somashekar يکي از مديران بخش مديريت محصول در CA مي گويد:" تعداد زيادي از شرکت ها حتي پيش از آنکه فرآيندي را خودکارسازي نمايند، به جستجو مي پردازند تا مطمئن شوند که کاملاً بالغ و تکرار پذير است، نظير مديريت مسير و تدارک سرور. مطالعه ما نشان مي دهد که اگر فرآيند به جا نبوده و يا فرآيند تکرار پذيري نباشد که امکان مساحي و سنجش آن وجود داشته باشد، به سختي مي تواند اتوماسيون کارآمدي را بر روي آن اعمال نمود. يک فرد نادان با يک ابزار خوب هنوز يک فرد نادان است." دو روش براي اندازه گيري مصرف برق Data Center دو معيار بعنوان استانداردهاي صنعتي براي اندازه گيري مصرف برق Data Center مطرح شده اند: کارائي مصرف برق ( Power Usage Effectiveness ) و بازدهي زيرساختار ( Data Center ) Data Centre Infrastructure Efficiency . هر دو معيار فوق توسط کنسرسيوم Green Grid ( يک کنسرسيوم صنعتي که دو سال قبل براي توسعه استانداردهايي در زمينه سنجش بهره وري و بازدهي Data Center تشکيل شد) حمايت مي شوند. اين معيارها جهت مقايسه مقدار برق مصرفي Data Center براي تغذيه و خنک کنندگي، با مقدار برق مورد استفاده تجهيزات IT در Data Center بکار مي روند. Ken Brill مؤسس و مدير اجرائي انستيتوي Uptime که سرويسهاي مشاوره اي را براي بيش از 100 اپراتور Data Center تأمين مي کند، مي گويد:" سربار زير ساختار سايت، يک مفهوم ساده است. اندازه گيري و ضبط همه چيز بسيار آسان است." Green Grid، دو معيار فوق را براي اندازه گيري سربار زير ساختارData Center بصورت زير تعريف مي کند.PUE يک نسبت است که بايد پائينتر از 2 باشد. هر چه اين نسبت به 1 نزديکتر باشد، بهتر است. DCiE يک درصد است. هر چه اين عدد بزرگتر باشد، بهتر است.
Data - Center هاي جديد

John Pflueger مي گويد: صحبت درباره اين معيارها واقعاً در ميان جامعه گسترش يافته است. اين معيارها در بعضي از ملاقاتهاي ما در اروپا تشريح شده اند. تعيين کنندگان خط مشي در سازمان حفاظت از محيط زيست و وزارت انرژي آمريکا کاملاً با اين معيارها آشنايي دارند. با اينحال، کار زيادي براي مستند سازي شيوه هايي جهت جمع آوري داده هاي مصرف برق و اعمال اين معيارها بصورتي که بتوان از آنها براي مقايسه بازدهي Data Center در سازمان هاي مختلف استفاده کرد، باقي مانده است. در سال جاري، Green Grid بر روي معيارهاي بهره وري کار خواهد کرد. اين گروه خصوصاً به اندازه گيري کار مفيدي که در يک Data Center انجام مي شود علاقه دارد. Pflueger در اين زمينه مي گويد:" اين موضوعي است که افراد مختلف مدتها است در صنعت ما به آن توجه دارند. اين يک مشکل جدي به حساب مي آيد. يکي از دلايلي که باعث شده تا اين موضوع به يک مشکل سخت تبديل گردد، اين است که چه امتيازهائي براي کار مفيد در يک Data Center متعلق به شرکت ADM را نمي توان بعنوان کار مفيد در يک Data Center متعلق به شرکت Dell در نظر گرفت." Green Gridاميدوار است که نهايتاً به معياري شبيه به " کيلومتر بر ليتر" در مورد اتومبيلها براي Data Center دست يابد.Pflueger مي گويد:" با تکامل معيارهاي ما آنها دقيق تر مي شوند و تعداد کارهايي که مي توانيد با آنها انجام دهيد نيز افزايش مي يابد. شما مي توانيد تصميم گيريهايي با دانه بندي ظريف تر را با بهره گيري از اين معيارها انجام دهيد." اعضاي Green Grid پيش بيني مي کنند که معيارهاي PUEو DCIE آنها براي نظارت و سنجش بلادرنگ در مديريت شبکه، سيستم عامل و ساير نرم افزارها پياده سازي خواهند شد. Larry Vertal استراتژيست ارشد AMD و عضو هيأت مديره Green Grid مي گويد:" مشاهده اينکه چه کسي مدل هاي مارا اقتباس مي کند و مشخص نمودن ميزان فوايد اين مدلها براي آنها، واقعاً جالب خواهد بود." چک ليست کارآيي Data Center به گفته CTO ) John Engates شرکت Rackspace که در حوزه ميزباني IT فعاليت مي کند)، افزايش بازدهي انرژي Data Center شما با 5 اصل زير شروع مي شود: - بکارگيري يک مميزي حرفه اي در سطح سخت افزار و Data Center شرکتهايي نظير Dell ,HP ,Intel و Sunاين سرويس هاي مميزي Data Center را فراهم مي کنند. طراحي Data Center به يک قاعده کلي با حساب سرانگشتي تبديل شده بود، اما امروزه اين يک علم است.بازرسان بطور حرفه اي به ارزيابي طراحي Data Center مي پردازند که آرايش رديفهاي " داغ " و " سرد" را نيز در بر مي گيرد. اين بازرسان به شما کمک خواهند کرد تا کارکنان Data Center خود را در چيدماني با بالاترين بازدهي انرژي قرار دهيد ( که معمولاً در اتاق عملي سرور Data Center نيست). اينکار به افزايش چگالي و بهره برداري از سيستم HVAC کمک مي کند. بازرسان در عين حال به ارزيابي فهرست موجودي اموال پرداخته، توصيه هايي را براي تعويض سخت افزارهاي قديمي با مدل هاي جديدتر سخت افزارهايي با بازدهي انرژي بيشتر و حتي ( در صورت امکان )Virtualization ارائه خواهند کرد. - اگر بودجه کافي براي بکارگيري يک مميز حرفه اي را در اختيار نداريد، ارزيابي پردازنده هاي سرور به عهده خودتان خواهد بود. اگر مي خواهيد تفاوت چشمگيري را در مصرف انرژي مشاهده نمائيد، مطمئن شويد که از پردازنده هاي چند هسته اي با مصرف پائينتر استفاده مي کنيد. - در هر جايي که اين امکان وجود دارد، از Virtualization استفاده کنيد، اگر سرورهايي داريد که به طورکامل مورد بهره برداري قرار نمي گيرند، تلاش کنيد آنها را با نرم افزار مجازي به يک سرور پيوند بزنيد. اينکار باعث افزايش بازدهي انرژي و فضاي Data Center شما خواهد گرديد. - هزينه هاي برق Data Center خود را بازبيني نماييد. بسياري از مديران Data Center و IT هيچگاه قبوض برق شرکتهاي خود را نمي بينند. امروزه اين يک اشتباه بزرگ به حساب مي آيد. Data Center و ITتا حدود زيادي در مصرف برق سهيم هستند، بنابراين شرکتها بايد از نزديک بر مصرف انرژي IT نظارت داشته باشند. اين يک مسير کليدي براي اندازه گيري بازدهي انرژي است و مي تواند براي محک زدن تلاش هاي شما در زمينه بهبود مصرف برق مورد استفاده قرار گيرد. - با شرکت برق محلي خود براي انرژيهاي جايگزين مذاکره کنيد. براي نمونه Data Center جديد Rackspace در لندن، کاملاً بر اساس انرژي تجديد پذير مبتني بر انرژي و گرماي باتلاقها فعاليت مي کند. ساير شرکتهاي تأسيساتي، گزينه هاي مشابهي را ارائه مي نمايند و بسياري از تأمين کنندگان حتي برنامه هائي را براي اعتبار دهي به مشتريان براي Virtualize نمودن زيرساختار IT خود عرضه مي کنند. مراجعي براي توصيه هاي مربوط به مصرف برق Data Center شما مي توانيد مصرف برق IT خود را با معيارها و رهنمودهاي متخصصين Data Center در مراکز زير ارزيابي و کنترل نماييد: 1- Green Grid: - تأسيس: فوريه 2006 - هدف : تهيه معيارها و تأمين ارتباط بهتر در ميان تأسيسات Data Center و پرسنل IT به شکلي که افراد پرداخت کننده هزينه هاي برق ( تأسيسات ) بتوانند با افرادي که آنها را توليد مي نمايند ( IT) کارکنند. - فروشندگان کليدي همکاري کننده: AMD ( Advanced Micro Devices ),American Power Conversion, Dell,HP,IBM,Intel,VMware,Microsoft,Rackable System,SprayCool,Sun - Enterprise هاي همکاري کننده : AllState Insurance, British Telecom, Digital Realty Trust, Enterprise Rent-A-Car, - News Crop, Uptime Institute و دانشگاه کاليفرنيا: کارهاي انجام شده تا امروز: عرضه معيارهاي PUE ( Power Effecttiveness) و DCiE ( Data Centre Infrastructure Efficiency ) براي پيگيري مصرف برق Data Centre. - کارهاي آتي: معيارهاي بهره وري IT خاص فشار کاري ( Workload ) را با هدف ايجاد امکان برنامه ريزي و پيگيري بهتر مصرف برق کلي Data Centre ارائه خواهد کرد. اين معيارها براي استفاده با PUE و DCiE در سال آينده معرفي خواهند شد. - امتياز کاربرد پذيري: -A . اين گروه معيارهاي عملي را تهيه کرده و در عين حال همکاري کليدي را در تمام سطوح وزارت انرژي ( DOE) ايالات متحده نظير ابتکار SNIA Green Storage ( Storage Networking Industry Association ) و کاربران Enterprise کليدي داشته است. يک نکته: Green Grid يک نگاه گسترده به Data Centre بعنوان يک " کل " را اتخاذ کرده و نتيجه آن مي تواند سرعت پائين تکامل و رهنمودهاي نامشخص تر باشند. ابتکار SNIA Green Storage تأسيس: اکتبر 2007 - هدف : اهداف اين گروه بر مشکلات ذخيره سازي Data Centre متمرکز شده است، عبارتند از تفهيم نياز به بازدهي مصرف برق در ذخيره سازي و تهيه معيارهاي بازدهي مصرف برق براي سخت افزار ذخيره سازي Data Centre نظير آرايه ها و سوئيچها. - فروشندگان کليدي همکاري کننده : Brosade Communication, CA, Cisco, Dell, EMG, HP, Hitachi, IBM, Intel, LSI, Microsoft, Network Appliance, Oracle, QLogic, Seagate Technology, Sun و Symantech. -Enterprise هاي همکاري کننده: اساساً فروشندگان، گرچه بعضي از Enterpriseهاي کوچک و غيرانتفاعي نيز موقعيت هاي " بدون حق رأي " را در اين گروه دارند. - کارهاي انجام شده تا امروز: گروه هاي کاري فني در حال تهيه معيارهاي ذخيره سازي براي ظرفيت آرايه ( وات بر هر گيگا بايت از انباره )، بازدهي سوئيچ ( وات بر هر گيگا بايت از پهناي باند) و I/O سرور ( وات بر تعداد عمليات ) هستند.SNIA در حال طرح ريزي مجموعه اي از Plugfestها در بهار جاري است تا داده هاي مصرف برق ذخيره سازي را از محيط هاي متنوع Data Centre جمع آوري نمايد. پيش بيني مي گردد که معيارهاي ابتدائي تا انتهاي سال جاري ارائه شوند. - کارهاي آتي : پس از تهيه معيارها،SNIA آنها را به Enterpriseها و برنامه هاي بزرگتر ارائه خواهد کرد تا در توسعه معيارهاي مصرف برق Data Centre مورد استفاده قرار گيرند. دريافت کنندگان احتمالي اين معيارها عبارتند از Green Grid و برنامه Energy Star که توسط EPA ( US Environmental Protection Agency و( US ) و DOE ( Department Of Energy ) اجرا مي شود. - امتياز کاربردپذيري: -B تمرکز اين گروه بر ذخيره سازي يک نکته مثبت به حساب مي آيد زيرا به گفته IDC مصرف برق ذخيره سازي در سال جاري از سرورها پيش گرفته است. با اينحال، گروه مذکور توسط فروشندگان اداره مي شود، پيوستن به آن بسيار پرهزينه است( 2500 دلار براي اعضاي فاقد حق رأي، بعلاوه عوارض عضويت SNIA) و حرکت کندي دارد. پروژه Green Data - تأسيس : سپتامبر 2007 - هدف : از ديدگاه نرم افزاري بر ذخيره سازي تمرکز دارد. اين گروه در نظر دارد تا بهترين شيوه هاي مديريت داده، نظير استفاده از نرم افزاربايگاني بانک اطلاعاتي و e-mail را براي کاهش نيازهاي کلي ذخيره سازي و در نتيجه کاهش مصرف برق، بيابد. - فروشندگان کليدي همکاري کننده: ,C2C System , CA , Caringo Data, , Clearview Software,Data Islandia, JPR Communication, ,Management InstituteFileTek,Toigo,Qstar Technologies,Plasmon,Kom Networks, TPITechnologies,Partners, و Zerowait. - Enterprise هاي همکاري کننده : American International,Mars, FedEx,Family Dollar Stores,Group وچند مجموعه ديگر. - کارهاي انجام شده تا امروز : ارائه مقالات، برخي از گزارشات مربوط به بهترين شيوه ها وگفتگوي مداوم از طريق وبلاگ Drunkendata.com - کارهاي آتي : طرح ريزي يک سمينار رايگان. Cost Saving and C4 Compliance,Carbon Footprint reduction Continuity با هدف تجمع اعضاء در کنار يکديگر و تشريح استراتژيهاي مديريت داده در داخل صنايع عمودي. نهايتاً اين اين پروژه مجموعه اي از رهنمودهاي مربوط به بهترين شيوه ها با تمرکز عمودي براي مديريت داده ها را ارائه خواهند نمود . - امتياز کاربرد پذيري :B. تمرکز بر اصلاح شيوه هاي ذخيره سازي ، کارائي اين ابتکار عمل سخت افزاري را افزايش خواهد داد .اين گروه تا امروز از وجهه Enterprise خوبي در ميان 5000 عضو خود بر خوردار بوده است (با در نظر گرفتن اين نکته که پيوستن به آن رايگان است ). هنوز نمي توان تصميم گيري کرد که مديريت بهتر داده ها تا چه اندازه بر مصرف کلي برق تأثير خواهد داشت. 10 شيوه براي افزايش بازدهي Data Centre Laura Pickering يکي از متخصصين پياده سازي Data Centre در NetApp تجربيات خود در زمينه بازدهي Data Centre در مقاله اي به اين صورت بيان مي کند : صرف نظر از اينکه شرکت شما قبلاً حرکت در مسير ارتقاء بازدهي انرژي Data Centre خود را آغاز کرده است يا اينکه حتي نمي داند اين کار را از کجا آغاز کند، ما در اينجا به 10 تکنيک اشاره خواهيم کرد که براي ارتقاء زير ساخت ها Data Centre به کار گرفته مي شوند. ما فکر مي کنيم که شما بسيار شگفت زده خواهيد شد که اين تکنيک ها چه اندازه ساده ،انجام پذير و آسان هستند . هر دو گروه مشتريان بزرگ و کوچک، اعتقاد دارند که مصرف برق و هزينه هاي مربوط به آن يک نگراني جدي به حساب مي آيد .Gartner پيش بيني مي کند که در سال 2008 ،48 درصد از کل بوجه هاي IT تنها در زمينه هاي انرژي صرف خواهند شد . اين يک درصد نجومي به حساب مي آيد. به لطف اصلاحاتي که بر Data Centre اصلي شرکت ما در Sunnyvale کاليفرنيا صورت گرفته اند، ما از قبل به سطحي از صرفه جويي در زمينه بازدهي انرژي دست يافته ايم که به اعتقاد EPA، بالاترين دست آورد يک Data Centre درسال 2011 خواهد بود. همين موضوع در مورد تأسيسات ما در Research Triangle Park کاروليناي شمالي نيز صادق است. به علاوه، ما انتظارداريم که Data- Centreهاي جديدمان که در Research Triangle Park و Sunnyvale در حال ساخت هستند نيز همگي با سناريوي "حداکثر قابل دستيابي" EPA براي سال 2011 انطباق داشته باشند، آن هم سه سال پيش از برنامه زمان بندي شده و صرفاً با استفاده از فناوري هاي امروزي. 10 توصيه ما براي دستيابي کارآيي هاي مشابه عبارتند از: 1- اندازه گيري براي کنترل : اين عبارت که " شما نمي توانيد چيزي را کنترل کنيد که قادر به اندازه گيري آن نيستيد"، يک پند قديمي در حوزه بازدهي عملياتي است. ما متوجه شديم که تلاشهاي انجام شده در زمينه کاهش ناکارآمدي هاي مصرف برق بايد با اندازه گيريهاي مبنا آغاز شوند. اگر نمي دانيد که برق مصرفي شما به کجا مي رود، نمي توانيد بدانيد که بايد توجه خود را در کجا متمرکز نماييد. براي کمک به اندازه گيري مصرف برق، آن را به هر يک از دسته بنديهاي زير تقسيم کنيد. - سيستم هاي IT - UPS - چيلرها - روشنايي 2- سيستم هاي IT را متحد و Virtualize کنيد: ارزيابي هاي اخير نشان مي دهند که 50 درصد از کل مصرف برق Data centre از سرورها و سيستم هاي ذخيره سازي سرچشمه مي گيرند که آنها را به هدفهاي منطقي براي صرفه جويي در مصرف برق تبديل مي کند. Virtualization سرور اکنون به يک گرايش شديد تبديل شده است، يک استراتژي کارآمد که صرفه جويي هايي در زمينه فضا، مصرف برق وخنک کنندگي را به همراه خواهد داشت. با پياده سازي Virtualization سرور و ذخيره سازي، به يک مدل ذخيره سازي با بازدهي انرژي بيشتر حرکت خواهيم کرد. ما 50 سيستم ذخيره سازي قديمي تر را با 10 سيستم ذخيره سازي از جديدترين نمونه ها تعويض کرده و به مزاياي زير دست پيدا کرديم: - سطح اشغال شده توسط قفسه (Rack ) ذخيره سازي ما از 25 قفسه به 6 قفسه کاهش پيدا کرد. - ملزومات تغذيه برق ما از 329 کيلو وات به 69 کيلو وات کاهش يافت. - ملزومات ظرفيت تهويه مطبوع ما به ميزان 94 تن کاهش يافت. - هزينه هاي برق براي تغذيه اين سيستمها به ميزان 60000 دلار در سال کاهش پيدا کرد. 3- مديريت داده ها: در حال طرح ريزي Virtualization ذخيره سازي ، ما يک مميزي از داده هاي تجاري موجود خود را ترتيب داديم. ما دريافتيم که امکان حذف 50 درصد از داده هايي که ذخيره کرده بوديم وجود دارد. شيوه اصلي براي متوقف نمودن رشد انفجاري داده ها، توقف تکثير داده ها، پيش از آغاز آن است. Volume ديسک يک Enterprise متوسط احتمالاً حاوي ميليونها آبجکت داده تکراري است. از آنجائيکه اين آبجکتها ويرايش، توزيع، Backup و بايگاني مي شوند، آبجکتهاي داده تکرار بطور مکرر ذخيره سازي خواهند شد. ما از شيوه هاي مختلفي نظير حذف داده هاي تکراري Cloning و تدارکات خلاصه استفاده کرديم که همه آنها در مسير يک هدف واحد حرکت مي کردند: کاهش داده هاي غيرضروري. 4- حذف خنک کنندگي اضافي سيستم ها سيستم هاي خنک کننده، يکي از حوزه هايي هستند که دپارتمان هاي ITغالباً در آنها دچار اشتباه محاسباتي شده و بيش از حد بودجه صرف مي کنند. توليد کنندگان معمولاً ارزيابيهاي مصرف برق خود را بر اساس فعاليت دائمي با حداکثر فشار کاري انجام مي دهند. از خودتان بپرسيد که سيستم شما چقدر از زمان فعاليت خود را با اوج ظرفيت سپري مي کند؟ پاسخ احتمالاً اين است که " تقريباً هرگز". بنابراين، چرا بايد سيستم هاي خود را بر اساس شرايط عملکرد در اوج ظرفيت خنک کنيد؟ کليد رفع اين مشکل، محاسبه دقيق بار انرژي است که به کمي مهارت نياز خواهد داشت. براي رسيدن به ارزيابيهاي قابل توجهي در زمين بار انرژي، ما تجهيزات داخل محيط آزمايشگاهي خود را پيش از استقرار آنها در Data Centre آزمايش کرديم. با انجام اين آزمايشها، ما تعيين کرديم که ارزيابي توجيه پذير بار انرژي سيستمهايمان 30 تا 40 درصد پائينتر از ارزيابي هاي توليد کننده آنها است. با آگاهي از اين واقعيت، مي توانيم مصرف برق " قفسه به قفسه" را تحت نظارت قرار داده و سيستمهاي خنک کنندگي خود را مطابق با آن تنظيم نمائيم که به اين ترتيب، مقدار انرژي تلف شده بخاطر خنک کنندگي اضافي را حذف خواهد کرد. اما کار در اينجا به پايان نمي رسد. ما يک گام ديگر جلو رفته و از گرداننده هائي با فرکانس متغير در خروجيهاي هواي خود استفاده کرديم. به جاي آنکه پنکه هاي خود را در تمام مدت با سرعت کامل بکار بگيريم، گرداننده هاي فرکانس متغير وظيفه تغيير سرعت پنکه ها بر حسب مقدار خنک کنندگي واقعاً مورد نياز براي تجهيزات مختلف ( با يک مبناي رديف به رديف) را بر عهده گرفتند. با پنکه هايي که دائماً بر دما نظارت داشته و سرعت پنکه ها را بطور خودکار بر حسب نياز تنظيم مي کردند، ما توانستيم به يک صرفه جويي نمائي در مصرف انرژي دست پيدا کنيم. در واقع، يک کاهش 50 درصدي در سرعت پنکه ها با يک کاهش 87 درصدي در مصرف برق همراه است. 5- کار با اصول فيزيکي در چيدمان Data Centre: اجازه بدهيد يک نکته ساده فيزيکي را يادآوري کنيم: هواي داغ به سمت بالا و هواي سرد به سمت پايين حرکت مي کنند. همين قاعده در يک Data Centre نيز صادق است. شيوه قديمي خنک کنندگي از کف در Data Centre با کفهاي برجسته معمولاً به انرژي اضافي نياز دارد. در مقابل، ما يک پرده از هواي سرد را در مقابل ماشينها تا پايين ايجاد کرديم. سپس، هواي سرد به درون ماشين ها کشيده شده و از بخش پشتي آنها بصورت هواي داغ خارج مي شد که سپس به سمت سقف بالا رفته و به خارج هدايت مي شد. با اينحال، چيدمان قفسه از اهميت فوق العاده اي برخوردار است زيرا شما نمي خواهيد هواي داغ خروجي يک ماشين را به ورودي هواي ماشين ديگري بفرستيد. در مقابل ما قفسه هاي خود را بصورت " جلو به جلو" و " پشت به پشت" مستقر کرديم. اين سازماندهي که با نام " راهرو داغ / راهرو سرد" شناخته مي شود، بخاطر کارآيي خود به يک شيوه منتخب براي طراحي Data Centre تبديل شده است. با تعبيه سيستم خنک کنندگي در بالاي قفسه ها، ما همچنين نياز به يک کف سازي برجسته ( که معمولاً لوله هائي که آب خنک و ساير کابل هاي خنک کنندگي را در خود جاي مي دهد) را حذف نموده و صرفه جوئيهاي ديگري را در زمينه فضا و انرژي بدست آورديم. 6- بهبود مداوم محدود سازي گرما: هر جائي که قفسه هايي با چگالي بالا را در يک آرايش " راهرو داغ / راهرو سرد" داشته باشيد، به سنجشهاي جريان هواي بيشتري براي جلوگيري از نفوذ خروجي داغ به راهرو سرد نياز خواهيد داشت. اين همان جائي است که کمي نبوغ به کمک شما خواهد آمد. در حاليکه ما هواي داغ در حال حرکت به سمت بالا را به خارج هدايت مي کنيم، يک تکنيک کم هزينه را نيز پياده سازي کرده ايم که بسيار مؤثر و مهم است. ما براي جداسازي گرما در انتهاي راهروهاي داغ و اطراف سيستم ها خنک کننده خروجي در بالاي قفسه ها، از پرده هاي پلاستيکي استفاده کرده ايم. ما از نوار پلاستيکي براي احاطه هوا در راهروهاي داغ و از همان پلاستيک براي ايجاد يک مانع فيزيکي در اطراف کانالها و تجهيزات استفاده کرديم. ما تخمين مي زنيم که استفاده از اين پرده ها تنها درSunnyvale با 1 ميليون کيلو وات صرفه جوئي در سال همراه باشد. 7- به حداکثر رساندن خنک کنندگي رايگان: توليد هواي سرد نبايد تنها منبع خنک کنندگي شما باشد. چرا از نيروي مادر طبيعت نيز بهره گيري نمي کنيد؟ با استفاده از هواي خارج بعنوان يک وسيله خنک کنندگي رايگان، ما ساليانه 1/5 ميليون دلار در هزينه هاي انرژي صرفه جويي مي کنيم. براي انجام اينکار، تعديل کننده هايي در بخش جانبي ساختمان ما ساخته شده اند که به طور خودکار ميزان ورود هواي خارج به داخل ساختمان را تنظيم مي کنند. هنگاميکه دماي هواي خارج پائينتر از دماي تعيين شده باشد، اين تعديل کننده ها باز شده و هواي خارج به سيستم خنک کننده هدايت مي گردد. برعکس، هنگاميکه دماي هواي خارج به سطحي بالاتر از يک نقطه تعيين شده افزايش مي يابد، تعديل کننده ها بسته شده و چيلرها بقيه کار را برعهده مي گيرند. با اينحال، اين کوشش در واقع يک کار مداوم براي تنظيم دقيق و ارتقاء سيستم است. به لطف وجود مهندسين محيطي، ما در حال کار بر روي افزايش درجه حرارتي هستيم که در آن مي توانيم از هواي خارج استفاده کنيم. ما در ابتدا کار را با 11 درجه سانتيگراد آغاز کرده و تدريجاً آن را به 18 درجه سانتيگراد رسانده ايم. با اينحال تلاش مي کنيم تا اين دما را حتي به سطحي فراتر نظير 24 درجه سانتيگراد افزايش دهيم که مي تواند ساعتهاي خنک کنندگي رايگان در طول يکسال را به 85 درصد ارتقاء دهد. 8- به حداقل رساندن افت تبديل الکتريکي: بجاي استفاده از يک سيستم مبتني بر باتري، Data Centre ما در Sunnyvale امروزه به UPS هاي حرکتي ( Kinetic) مجهز است که انرژي را به صورت حرکت ذخيره مي کنند. انرژي از زيرساختار سوئيچينگ ما مي آيد و يک موتور الکتريکي را در هر يک از واحدهاي UPS مي چرخاند. چرخ طياره ها ( Flywheel ) انرژي را براي توليد 15 تا 20 ثانيه انرژي ذخيره مي کنند ( که براي انجام هر يک از عمليات سوئيچينگ ما کافي است) در حاليکه UPS هاي قديمي مبتني بر باتري داراي بازدهي 85 درصدي بوده و بازدهي بهترين UPS هاي امروزي بطور متوسط به 94 درصد مي رسد، افت انرژي USP هاي حرکتي با يک نرخ بازدهي 97/7 درصدي به کمتر از نصب مدلهاي مبتني بر باتري مي رسد. 9- از گرمايي که بايد تلف شود، استفاده کنيد: تقاضا براي برق و قيمت هاي انرژي با افزايش دما در فصل تابستان کاملاً همسو هستند. در طول اين زمان هاي اوج دما و مصرف برق، سيستم Cogeneration مبتني بر گاز طبيعي ما فعال مي شود تا يک Data Centre با مصرف مگاواتي را بطور اقتصادي تغذيه نمايد. ما از اين شيوه به دو روش بهره گيري مي کنيم. اول آنکه، با توليد برق در فاصله بسيار نزديک از محلي که مصرف مي گردد( و تحت عنوان توليد توزيع شده شناخته مي شود)، هزينه هاي برق خود را پائين آورده و مقدار افت برق در هنگام انتقال را کاهش مي دهيم. دومين مزيت مستقيماً از Cogeneration سرچشمه مي گيرد.Cogeneration يک استفاده فوق العاده کارآمد از سوخت به حساب مي آيد. اين مکانيزم، حجم عظيمي ازگرماي تلف شده اي که از توليد الکتريسيته نتيجه مي گردد را بکار مي گيرد. ما در Data Centre خود درSunnyvale گرماي توليد شده توسط ژنراتورهاي مبتني بر گاز طبيعي را براي بکار انداختن يک چيلر جذبي که آب مورد استفاده در سيستمهاي خنک کنندگي را سرد مي کند، بهره گيري مي نمائيم. سيستم Cogeneration ما داراي يک نرخ بازدهي کلي معادل 75 تا 85 درصد بوده و ساليانه 300000 دلار در هزينه ها صرفه جويي مي کند. 10- نظارت و تنظيم مستمر گام ديگري که مي توانيد براي کمک به هدايت کارآمد Data Centre خود برداريد، نظارت دقيق و منظم بر محيط خودتان است. اکثر Data Centreها بار را به صورت پيراموني اندازه گيري مي کنند که به صورت پيش بيني پذيري همه چيز را غير قابل پيش بيني مي سازد. براي دستيابي واقعي به بازدهي انرژي بايد اندازه گيري را يک گام به جلوتر برده و سنجش را در سطح قفسه ها( وات براي هر قفسه ) انجام دهيد، نه اين که صرفاً پنکه ها را وقتي يک ناحيه بخصوص در Data Centre شروع به داغ شدن مي کند، به آن جهت بچرخانيد. ما دائماً محيط خود را آزمايش و تنظيم مي کنيم و حسگرهاي حرارتي متعدد ما در سطح مياني، بطور متوسط يک اختلاف 5 تا 7 درجه اي را ثبت مي کنند. تمام Data Centreها بصورت يکسان ايجاد نشده اند. نحوه تصميم گيري شما و شرکتتان در مورد پياده سازي يک استراتژي بازدهي مصرف برق در Data Centre به شرايط خاص خودتان بستگي دارد. با اينحال، فهرست 10 تکنيک فوق الذکر که در NetApp پياده سازي شده اند مي تواند ايده هاي خوب و نقطه اي براي آغاز کار را در اختيار شما قرار دهد. اگر هنوز از اين موضوع آگاهي نداريد، بايد شما را به تعيين نرخ PUE ( Power Usage Effectiveness) Data Centre خودتان تشويق کنيم. از اين نقطه به بعد مي توانيد توسعه تکنيکهاي مناسب و اصلاحات مقتضي براي به جريان انداختن برنامه کارايي Data Centre خود را آغاز کنيد. واژه نامه مصرف انرژي Data Centre CRAC,DCiE,REC و ساير اصطلاحات تغذيه برق و خنک کنندگي که باعث مي شوند مديران رده بالا شما را جدي بگيرند. اگر اين اصطلاحات را بعنوان سرنامهايي در نظر بگيريد که به خاطر سپردن آن ها دشوار است، صبر کنيد تا با تيم تأسيساتي خود نشسته و به بحث درباره هزينه هاي برق Data Centre بپردازيد. شما بايد يک فرهنگ لغات کاملاً جديد را در هنگام صحبت درباره کاهش استفاده انرژي ساختمان بياموزيد. ما در اين بخش به مجموعه اي از متداولترين اصطلاحات و سرنام هاي مورد استفاده در حوزه انرژي اشاره خواهيم کرد تا شما بتوانيد با زبان فني حرکت به سمت يک Data Centre سبز آشنا شويد. 1- AC/DC: اين يک گرايش کليدي در طراحي Data Centre است. AC مخفف عبارت Alternating Current ( جريان متناوب ) و DC مخفف عبارت Direct Current ( جريان مستقيم ) است. طراحان پيشگام Data Centre به دنبال منابع تغذيه مبتني بر برق DC ( به جاي برق AC امروزي ) هستند،زيرا برق DC بازدهي انرژي بالاتري را نويد مي دهد. 2- جاي پاي کربن ( Carbon Footprint ): اين اصطلاح هيچ ارتباطي با غول برفي ندارد، هر چند که مي تواند براي مديران شرکتها به غولي تبديل شود که به همان اندازه بزرگ و ترسناک است. جاي پاي کربن يک شرکت، به مقدار گاز CO2 توليد شده در فعاليت هاي آن اشاره دارد. بسياري از شرکتها در تنظيم اهداف براي کاهش جاي پاي کربن خود Data -Centre هايشان را هدف گرفته اند زيرا اين تأسيسات 25 درصد (يا بيشتر) از هزينه هاي برق را به خود اختصاص مي دهند. 3- CFD: CFD مخفف عبارت Computational Fluid Dynamics است. مدلسازي محاسباتي با عملکرد بالاي CFD مدتها در طراحي هواپيماها و سيستم هاي جنگ افزار مورد استفاده قرار گرفته است. اکنون از آن براي طراحي بهينه مطبوع براي جريان هواي داخل Data- Centre ها استفاده مي شود. 4- چيلر(Chiller): سرماساز يا چيلر، ماشيني است که از آب سرد براي خنک کردن و کاهش رطوبت هواي داخل Data Centre استفاده مي کند. در ميان تمام مؤلفه هاي سيستم تهويه مطبوع يک Data Centre چيلر بيشترين مقدار برق را مصرف مي کند که به 33 درصد از برق مصرفي يک Data Centre مي رسد. 5- خنک کنندگي Close-Coupled: در واقع اين نوع سيستم تهويه مطبوع درData Centreاست که منبع خنک کنندگي را تا حد امکان به سيستمهاي محاسباتي با چگالي بالا (که بيشترين مقدار گرما را توليد مي کنند) نزديک مي نمايد. به جاي خنک کردن تمام اتاق، سيستمهاي خنک کننده Close-Coupled که در يک قفسه قرارگرفته اند تنها هواي داغ توليد شده توسط سرورهاي همان قفسه را خنک مي کنند. 6- CRAC: در اينجا صحبت از يک سيستم تهويه مطبوع اتاق کامپيوتر ( Computer-Room Air - Conditioning ) است. واحد CRAC بر دما، رطوبت و جريان هواي يک درجه Data Centre نظارت مي کنند. آنها نزديک به 10 درصد از برق يک Data Centre را مصرف مي نمايند. 7- DCiE: DCiE معيار بازدهي زيرساختارData Centre است ( که تحت عنوان DCE براي Data Centre Efficiency نيز شناخته مي شود) DCiE يکي از دو معيار متقابلي است که توسط کنسرسيوم صنعتي Green Gridپذيرفته شده اند. DCiE برق مصرف شده توسط تجهيزات IT يک Data Centre را به صورت درصدي از کل برق ورودي به Data Centre نشان مي دهد. يک DCiE پنجاه درصدي به معناي آن است که نيمي از کل برق مصرفي Data Centre در اختيار تجهيزات IT قرار گرفته و50 درصد مابقي آن توسط سربار خنک کنندگي و تغذيه برق مصرف شده است. هرچه مقدار آن توسط سربار خنک کنند گي و تغذيه برق مصرف شده است .هر چه مقدار DCiE بزرگتر باشد بهتر است . $8-کيلو وات ساعت (kWH ) : توان الکتريکي در واحدي با نام کيلو وات ساعت فروخته مي شود.يک کيلو وات ساعت ،مقدار انرژي تحويل شده در يک ساعت با سطح توان 1000 وات است .اين واحد در هنگام نوشتن صورت مخفف KWh به کار برده مي شود . 9-PDU : PDU سر نام "Power Distribution unit" است، ابزاي که توان الکتريکي را توزيع مي کند.PDU ها براي Data Centre بصورت کابلهاي Power-strip عمل کرده و نزديک به 5 درصد از برق يک مرکز معمولي را مصرف مي کنند. 10-PUE: PUE ياPower Usage Effectiveness ،يکي از دو معيار متقابلي است که توسط کنسرسيوم صنعتي Green Grid پذيرفته شده اند.PUE نسبت مقدار کلي برق ورودي به يک Data Centre به برق مورد استفاده تجهيزات IT در آن Data Centre است .براي مثال ،يک PUE معادل 2 به معناي آن است که نيمي از برق مورد استفاده يک Data Centre به تجهيزات IT اختصاص يافته و زير ساختار خنک کنندگي و توزيع برق نيز نيم ديگري از آن را مصرف کرده اند. متخصصين يک PUE کمتر از 2 را توصيه مي کنند. هرچه PUE به يک نزديکتر باشد، بهتراست . 11-REC: اين سر نام به معناي گواهينامه هاي انرژي تجديد پذير (renewable energy certificates ) يا اعتبارات انرژي تجديد پذير (renewable energy credits )است. REC ها موارد قابل معامله اي هستند که نشان مي دهند 1 مگا وات ساعت الکتريسيته از يک منبع تجديد پذير نظير خورشيد، باد، توده زيستي و يا حرارت زمين خريداري شده است . تعداد فزاينده اي از شرکتها در حال خريد REC ها هستند تا مقدار الکتريسيته توليد شده توسط سوخت هاي فسيلي که در Data Centre- هاي آنها مصرف مي گردد را کاهش دهند. 12-UPS: در اينجا صحبت از يک منبع تغذيه بدون وقفه (Uninterruptible power Supply ) است که پشتيباني باتري را در صورت قطع برق يک Data Centre فراهم مي نمايد . بازدهي انرژي تجهيزات UPS از اهميت بالايي برخوردار است زيرا مي تواند تا 18 در صد از برق مصرفي در يک Data Centre معمولي را به خود اختصاص دهد . منبع: نشريه بزرگراه رايانه شماره 122

این صفحه را در گوگل محبوب کنید

[ارسال شده از: راسخون]

[مشاهده در: www.rasekhoon.net]

[تعداد بازديد از اين مطلب: 565]