VLA پائپ لائن
ایک عام VLA پائپ لائن تین اہم مراحل پر مشتمل ہوتی ہے:
1. Vision (Perception)
کسی بھی VLA سسٹم کا پہلا قدم ماحول کو محسوس کرنا ہے۔ یہ عام طور پر کیمروں کے ذریعے کیا جاتا ہے، لیکن دیگر سینسرز جیسے LiDAR اور depth کیمروں کو بھی شامل کیا جا سکتا ہے۔ وژن ماڈیول کا مقصد raw سینسر ڈیٹا سے معنی خیز معلومات نکالنا ہے، جیسے:
- آبجیکٹ ڈیٹیکشن: سین میں موجود اشیاء کی شناخت اور مقام کا تعین۔
- سین سیگمنٹیشن: تصویر کو مختلف علاقوں میں تقسیم کرنا جو مختلف اشیاء یا سطحات سے تعلق رکھتے ہیں۔
- 3D ری کنسٹرکشن: ماحول کا 3D ماڈل بنانا۔
2. Language (سمجھنا)
جب روبوٹ کے پاس اپنے ماحول کی نمائندگی موجود ہو، اسے صارف کی نیت کو سمجھنا ہوتا ہے۔ یہاں natural language processing (NLP) آتی ہے۔
- Speech-to-Text: پہلا قدم اکثر بولی ہوئی زبان کو متن میں تبدیل کرنا ہوتا ہے، جیسے OpenAI کے Whisper ماڈل کے ذریعے۔ Whisper ایک طاقتور اوپن سورس ماڈل ہے جو شور والے ماحول میں بھی اعلیٰ درستگی کے ساتھ آڈیو کو ٹرانسکرائب کر سکتا ہے۔
- Large Language Models (LLMs): ٹرانسکرائب شدہ متن کو پھر LLM میں دیا جاتا ہے، جیسے GPT-4 یا Llama۔ LLM "reasoning engine" کے طور پر کام کرتا ہے، صارف کے حکم کی تشریح کرتا ہے اور مطلوبہ مقصد حاصل کرنے کے لیے اعلی سطح کا پلان تیار کرتا ہے۔
3. Action (عملدرآمد)
آخری مرحلہ LLM کے پلان کو روبوٹ کے کم سطح کے اعمال کی ترتیب میں تبدیل کرنا ہے۔ یہ وہ مقام ہے جہاں روبوٹ کی جسمانی صلاحیتیں عملی طور پر استعمال ہوتی ہیں۔
- ٹول استعمال / فنکشن کالنگ: اعلی سطح کی زبان اور کم سطح کے اعمال کے درمیان فرق کو کم کرنے کی ایک اہم تکنیک "ٹول استعمال" یا "فنکشن کالنگ" ہے۔ LLM کو روبوٹ کی صلاحیتوں کے مطابق "ٹولز" دیے جاتے ہیں (مثلاً
move_to(x, y),pick_up(object),open_drawer())۔ پھر LLM مطلوبہ کام انجام دینے کے لیے ٹول کالز کی ترتیب تیار کر سکتا ہے۔ - موشن پلاننگ: ہر عمل کے لیے، روبوٹ کا موشن پلانر روبوٹ کے لیے collision-free راستہ تیار کرتا ہے۔
- کنٹرول: روبوٹ کے کنٹرولرز پھر موٹرز کو کمانڈز بھیج کر اس راستے کو عملی جامہ پہنتے ہیں۔