تُعرف المعلومات وفق معنى شانون في النظرية الرياضية للاتصال باسم «إنتروبي». يبدو أننا ندين بالفضل في هذه التسمية المربكة إلى جون فون نيومان (١٩٠٣–١٩٥٧)، أحد أكثر العلماء ألمعية في القرن العشرين، وهو من أوصى باستخدام هذا المصطلح لشانون:
يجب أن تطلق عليها اسم إنتروبي لسببين؛ أولًا: تُستخدَم الوظيفة فعليًّا في مجال الديناميكا الحرارية بالاسم نفسه. ثانيًا: وهو الأكثر أهمية، لا يعرف كثير من الناس ما هو الإنتروبي تحديدًا، وإذا استخدمت كلمة «إنتروبي» في أي مناقشة فستكسب هذا النقاش في كل مرة.
لسوء الحظ أثبت فون نيومان صحة رأيه فيما يتعلق بالأمرين، بافتراض الحالة المثالية لقناة اتصال بلا ضجيج

يعتبر الإنتروبي مقياسًا لثلاث كميات متكافئة:

  • (أ) متوسط كمية المعلومات لكل رمز يصدر عن الطرف المُبلِّغ.
  • (ب) أو متوسط الكمية المساوية لعجز البيانات (مفهوم عدم اليقين عند شانون) لدى الطرف المتلقي للبيانات قبل فحص مخرجات الطرف المبلِّغ.
  • (جـ) أو الاحتمالية المعلوماتية المقابلة للمصدر نفسه. بعبارة أخرى: «الإنتروبي المعلوماتي» لها.

قد يشير الإنتروبي إلى (أ) أو (ب) بالتساوي؛ نظرًا لأن الطرف المُبلِّغ — باختياره أبجدية معينة — يخلق تلقائيًّا عجزًا في البيانات (عدم يقين) لدى الطرف المتلقي، وهو العجز الذي يمكن التغلب عليه (حله) بدرجات متعددة عن طريق «الطرف المبلِّغ». تذكر لعبة الأسئلة والأجوبة، إذا استخدمت عملة عادلة واحدة، فسأجد نفسي في حالة عجز تتكون من وحدة بيانات واحدة. لا أعلم ما إذا كانت النتيجة صورة أم كتابة، وسأحتاج إلى سؤال واحد لمعرفة ذلك. أما إذا استخدمت عملتين عادلتين فسيتضاعف عجزي؛ إذ سأحتاج إلى سؤالين على الأقل، ولكنك إذا ما استخدمت الغراب، فسيبلغ العجز صفرًا. تعتبر الزجاجة الفارغة (النقطة (ب) عاليه) مقياسًا دقيقًا لقدرتك على ملئها (النقطة (أ) عاليه). بطبيعة الحال، من المنطقي الحديث عن المعلومات باعتبار إمكانية حسابها عن طريق الإنتروبي فقط في حال إذا أمكن تحديد توزيع الاحتمالات.

فيما يتعلق بالنقطة (ﺟ)، تتعامل النظرية الرياضية للاتصال مع المعلومات باعتبارها كمية مادية، مثل الكتلة أو الطاقة، وقد ناقش شانون بالفعل التقارب بين تحليل النظرية للمعلومات وصياغة مفهوم الإنتروبي في الميكانيكا الإحصائية. يرتبط المفهوم المعلوماتي والديناميكا الحرارية للإنتروبي من خلال مفاهيم الاحتمالات و«العشوائية». والعشوائية أفضل من «اللانظام»؛ نظرًا لأن المفهوم الأول مفهوم صرفي، بينما يتضمن المفهوم الثاني قيمة دلالية قوية. بعبارة أخرى: من السهولة بمكان الربط بينه وبين التفسيرات، مثلما كنت أحاول أن أوضح لوالديَّ عندما كنت مراهقًا. يعتبر الإنتروبي مقياسًا لكمية «الاختلاط» في العمليات والنُّظم التي تتضمن طاقة أو معلومات. يمكن أيضًا النظر إلى الإنتروبي باعتباره مؤشرًا على الانعكاسية. إذا لم يكن ثَمَّة تغيير في الإنتروبي، فسيعني ذلك أن العملية قابلة لإجرائها عكسيًّا. فمثلًا تحتوي أي رسالة مقسمة تقسيمًا شديدًا ومنظمة تنظيمًا كاملًا على درجة أقل من الإنتروبي أو العشوائية، وهو ما يعني معلومات أقل وفق معنى شانون في النظرية، ومن ثَمَّ تتسبب في عجز بيانات أقل، وهو ما قد يقترب من الصفر (تذكر الغراب). في المقابل، كلما زادت احتمالية عشوائية الرموز في الأبجدية، زادت وحدات المعلومات التي تصدر عن الجهاز. يبلغ الإنتروبي قيمته القصوى في الحالة المتطرفة للتوزيع المنتظم، وهو ما يعني أن كوبًا من الماء فيه مكعب ثلج يحتوي على إنتروبي أقل من كوب الماء بعد ذوبان المكعب، كما يكون الإنتروبي أقل لعملة متحيزة من عملة عادلة. في الديناميكا الحرارية، كلما زاد الإنتروبي، كانت الطاقة المتوافرة أقل ، وهو ما يعني أن الإنتروبي المرتفع يقابله عجز طاقة مرتفع، وهو الأمر نفسه في النظرية الرياضية للاتصال. تقابل القيم الأعلى للإنتروبي الكميات الأعلى من عجز البيانات. ربما كان فون نيومان محقًّا على أي حال.
اكتمل استكشافنا للمفاهيم الكمية للمعلومات. تضع النظرية الرياضية للاتصال الأساس لمنهج رياضي يتناول اتصال ومعالجة بيانات مصوغة جيدًا. وعندما تصبح هذه البيانات ذات معنًى، فإنها تشكِّل «محتوًى» دلاليًّا. عندما يكون المحتوى الدلالي صحيحًا أيضًا، يمكن اعتباره معلومات دلالية، وهو المفهوم الأهم بين جميع المفاهيم في هذا الكتاب، وهو ما خصصت له الفصل التالي لمناقشته.
الإنتروبي والعشوائية المعلومات الرياضيةالمعلومات مقدمة قصيرة جدًّا

تأليف: لوتشانو فلوريدي – ترجمة: محمد سعد طنطاوي – مراجعة: علا عبد الفتاح يس – مؤسسة هنداوي

توضيح لتعريف انتروبي الديناميكا الحرارية


اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني.

error: Content is protected !!