Archive for the ‘360 VR / video’ Category

Is the Samsung S8 the best virtual workspace?

Thursday, March 30th, 2017

With the launch of the new Samsung S8 and S8 plus, we are closer to the optimal virtual workspace. Better, better, better, but not better for VR. The resolution of the screen 2K (2960 x 1440 with the max ppi of 570 on the S8). Bigger screen better? No the S8 plus with 6.22” screen has only 530 ppi.

So if you want your phone also as a VR device wait for Note 8 (maybe 4K screen). We need 4K screen for VR.

Why next step in replacing the workspace? Samsung makes a great step in the ecosystem with this smartphone. I’m a believer in virtual workspaces. With the S8 in the new Docking station, this smartphone connect a big monitor and transforms in a desktop computer. Connecting a VMware virtual desktop with the Horizon client, you have a real Windows, Linux PC on your screen.

Imagine the scenario: for about € 2,000.- you have a Phone, navigator, assistant (Bixby), photo camera, 4K movie camera, internet browser, music player, desktop in your pocket, VR device, 360 movie editor, 360 conference.

The hardware: Samsung S8, GearVR with controller, Gear360 with 2K livestream, The DeX Dock, big monitor, keyboard and mouse. The software: Virtual desktop in the cloud. YouTube and Facebook live streaming 360 2K. WOW!

In 2005 I believed in the next big thing: the virtual desktop on your phone. It here now. In a year, Samsung has answers my question: the new Gear360 camera can also connect to iPhone6S. Better battery live and live streaming. If the next Note8 has a 4K screen and can do the same as the S8, VR is also in the pocket.

This is not a new gadget, it’s a toy shop with possibilities.   link Gear360

 

 

 

 

 

 

Update:

VMware Horizon and WorkspaceOne on Samsung S8 see VMware blog

TSX2005 VMware had a contest “what’s the next big thing” I photo-shopped a little bit: a docking station with windows mobile over RDP. (Another idea from Belgium VMware users was local ESX stores mounted as shared to vCenter: we know it now as vSAN.)

Is AR-VR klaar voor het datacenter?

Thursday, March 23rd, 2017

Onlangs heb ik op de NLVMUG 2017 in Den Bosch een presentatie gegeven. In mijn presentatie stond de vraag centraal: Is AR/VR klaar voor het datacenter?

De ontwikkelingen.

Al een paar jaar volg ik de ontwikkelingen VR. Ik heb mij vorig jaar meer verdiept in AR en VR. In 2001 was ik ook een pionier met VMware virtualisatie, nu groeit mijn interesse in de VR revolutie. Ik bezoek nu regelmatig de meetups op de VRbase in Amsterdam. Onlangs heb ik een masterclass AR en VR storytelling gevolgd bij LavaLab in Amsterdam om meer te weten te komen hoe een AR/VR toepassing gemaakt wordt. Leuk was ook te zien wie zich daar mee bezig houden. In ieder geval mensen die in een inspirerende omgeving willen werken. Passie is alles.

Wat is ook alweer AR en VR? en wat heb je daarbij nodig aan hardware.

Augmented Reality is de werkelijke wereld waaraan een digitale projectie aan toegevoegd wordt, terwijl een Virtual Reality wereld een gesloten wereld is. Er is hier juist geen contact met de werkelijke wereld om je heen.

Ik zie duidelijke parallellen tussen AR en VR en toen ik begon met VMware virtualisatie. Ook toen waren we pioniers waar van velen dachten: dat gaat niets worden. Er moesten 15 jaar overheen gaan om virtuele machines heel normaal te vinden. De VR wereld zit ook in de begin fase en zie je ook scepsis.

De grootste hobbel is dat je veel dure spullen moet hebben om de juiste ervaring te beleven. De goedkope alternatieven zijn meer kinderspeelgoed. Head Mounted Display’s en de daarbij behorende PC is kostbaar, 360 3D camera’s zijn kostbaar, een optimale smartphone met HDM is kostbaar. Voor de consument is een instap van € 1000,- nog te veel. Alleen de hardcore gamers hebben al flink geïnvesteerd.

In dit blog neem ik u mee waarom ik zie dat de ontwikkeltoekomst in het datacenter kan liggen. Alle content die gemaakt moet worden is grafisch en rekenintensief. Dat kan op een lokale machine, maar het delen van de power van het datacenter is handig. Een virtuele machine mij heeft gered tijdens de masterclass AR/VR.

iPhone miskoop?

Jasper Brekelmans laat zien dat met de Hololens dans kan worden bestudeert. De danseres kan zichzelf zien en kan haar eigen bewegingen corrigeren. De snelheid van ontwikkeling van tracking van het lichaam is enorm. Elke maand is er wel weer een nieuwe toepassing. Handbewegingen in games gecombineerd met de realiteit. AR en VR zal de grootste impact hebben op de trainingsmarkt. Denk hierbij aan het oefenen van medische operaties en het bedienen van gevaarlijke machines.

Ook de hardware ontwikkeld zich razend snel. Herkend u zich in de hoeveelheid afstandsbedieningen die u ongetwijfeld heeft? Wat eerst mooi met elkaar werkte bestaat opeens uit een aantal dingen die niet meer samen werken. Infrarood was de standaard en nu komt RF steeds meer in gebruik.

Hardware en technieken worden soms los van elkaar ontwikkeld en de samenhang is er niet. Vorig jaar dacht ik, dat ik met mijn nieuwe iPhone 6s de eerste stap naar Apple, voorlopig vooruit kon. Prima smartphone maar kort daarna werd ik door AR en VR gegrepen en bleek dat mijn telefoonscherm niet voldoet voor een HMD. Je ziet duidelijk de pixels. De S7 van Samsung was veel beter met z’n OLED scherm. De kwaliteit is voor de instap in de consumentenmarkt al erg goed en wordt ook professioneel al omarmt. O.a. de The VR Cinema van Samhoud gebruikt hem.

28 maart 2017 wordt de nieuwe S8 gelanceerd met een nog beter scherm (misschien 4K OLED?). Er gaan geruchten dat Apple nu ook een OLED scherm van LG in de nieuwe iPhone8 gaat zetten. Apple doet nu nog niets met AR en VR, maar gaat waarschijnlijk op AR inzetten. Samenwerking met een Israëlisch bedrijf wijst hierop.

Belangrijke vraag is natuurlijk hoe bereik ik het grote publiek? Als je naar de adoptie van 3D TV kijkt gaat dat moeizaam. Die is al weer op z’n retour.

Mijn ervaring is, dat van mijn Youtube films in 2D en 3D, er maar 10% naar 3D gekeken wordt. Met de 360 graden film is dat al veel moeilijker. Dat kan alleen met een HMD een intense beleving geven en dan moet je eigenlijk ook nog eens in 3D Highend gefilmd zijn. Je hebt dus de juiste content nodig en ook nog eens de beste hardware. Net als ik met mijn telefoon: kies je net het verkeerde, dan baal je als een stekker. Professionele 360 3D camera’s en storytelling technieken. Alles is anders en moet opnieuw worden uitgevonden.

Hoe krijg je de beste 360 film bij het publiek? Uploaden naar Youtube of Facebook of via een App zoals JauntVR.

Parrallel met virtualisatie.

Herkennen we dat van virtualisatie? Tekortkomingen zijn net de verkeerde hardware gekocht. Hebben we wel de goede spullen, dan is er weer motion sickness. De reactie van Mathijs van Nieuwkerk met zijn virtuele achtbaan ervaring op de Oculus? Je hersenen denken dat je beweegt maar je lichaam beantwoord dat niet. Er is onbalans. Sixflags heeft de achtbaan uitgebreid met VR. Dat is in overeenstemming met de beweging en geeft een intense VR beleving.

Er zijn nu verschillende HDM’s op de markt voor AR en VR. Ik noem de Hololens en Meta2 voor AR en de Oculus Rift en HTC Vive voor VR. Grote koekblikken op je hoofd. Als we een 3D bril al niet opzetten, waarom dan wel een HDM? Wat zijn de nog te nemen horden? Misschien wel het belangrijkste is de duur van kijken. Nu nog maar 8-10 min. De beste kwaliteit schermen zijn nodig, hoge pixel dichtheid, grotere FOV (field of view), meer bewegingsvrijheid, meer draagcomfort enz. zijn nodig om AR/VR groots te omarmen.

Hierom moet de pixeldichtheid zo groot mogelijk zijn: je telefoonscherm wordt nog eens gehalveerd om per oog een beeld te vormen. Het ecosysteem moet worden opgebouwd. IMAX heeft 50 miljoen in de VR bril van StarVR (210 FOV) gestoken en onlangs de eerste VR bioscoop in Los Angeles geopend.

Masterclass AR project op virtuele desktop.

Een AR project, wat ik gemaakt heb in de masterclass AR/VR bij LavaLab, heb ik op een virtuele machine gemaakt. Ik ben die masterclass gaan doen om ook te kijken wat voor mensen nu al in deze wereld werken. Vooral jonge mensen, draadloos werkend met Apple Macbooks en deze willen zeker niet in het standaard kantoor zitten.

Is AR en VR klaar voor het datacenter? Ja, ik zie nu al jonge starters die voor een paar tientjes een Highend desktop in de cloud huren voor een project (bijv. sixa.io ). Net zoals ik het probleem tegen kwam om de software te installeren op mijn laptop. Een cloud desktop met GPU en machtige performance hoef je niet zelf aan te schaffen.

De virtuele desktop draait op mijn homelab thuis en ik kon over een matige WiFi verbinding, waar iedereen op zat, hierop mijn project maken. Alle downloads die ik nodig had kwamen thuis veel sneller binnen dan mijn collega’s via Wifi. Zijn er ook nadelen? Ja, het VR project had een 2 Gb aan data nodig die ik dus moest uploaden van een USB stick. Dat ging niet over die slechte verbinding. Helaas was deze oefening de tweede dag en kon ik dat niet thuis al klaarzetten. Later heb ik thuis dit project nog eens overgedaan in de virtuele ontwikkel omgeving.

Je ziet dat het kan en ik heb gezien dat in deze wereld veel jonge mensen werken die soms de cloud al gebruiken voor hun werk. Jonge startups hebben vaak geen middelen om dure eigen datacenters te bouwen, terwijl ze wel zien, dat het delen van resources beter is.

Is AR/VR klaar voor het datacenter? Ik denk van wel.

De ontwikkel software kan op een virtuele machine in het datacenter draaien. Hoelang gaat het duren voor de hardware kleiner en beter wordt? Zelf denk ik nog wel een jaar of 5. Om de grote massa te bereiken, zullen de HDM’s goedkoper en beter moeten worden. De smartphone zal niet alleen meer voor telefoon en Apps worden gebruikt, maar ook als display device voor AR en VR. De AR zal naar schatting 4 keer groter worden in business dan VR. Dus een smartphone met 5G zal nodig zijn om grote hoeveelheid data aan te kunnen en tevens de roomspace te vergroten. Nauwkeurige GEO positie bepaling kan de huidige trackers in de toekomst vervangen. Digi-Capital voorspeld dat de AR/VR business naar 150 Miljard zal groeien in 2020.

First impressions Samsung Gear360, 10 June 2016

Monday, June 27th, 2016

 

Friday 10 June, I received my Samsung Gear 360 camera. Nice small white tennis ball with on both sides a 180 degree lens. The use of this camera is very ease. Place the battery and MiniSD card (minimal type 10), charge to full and use. The menu is simple: click to set photo, movie or setting and time-lapse. gear360The button on top makes a movie/photo.

 

 

 

Ecosystem

It’s a Samsung! So remote connecting only possible by Samsung Gear App in Android store. My iPhone6 is not compatible with the Gear360. No App in the AppStore to use. I can only load the movies and photos with Cyberlink Gear 360 Action. After the 360 photos and movies are imported in Cyberlink, the stitching is started. After a while the jpg and mp4 are place in a folder 360 on your output folder. (settings can be chosen).

How to view the 360 degree content?

With the Cyberlink editor you can see the 360 photos and movies and move with mouse action. But how can I see the photos on my iPhone? In Cyberlink you can publish the movie to facebook ore youtube. In Youtube the movie is 360. Open in your phone, the movie is playing and swiping is working. Even my VR-Pro headset is usable.

So the easy to use environment with Samsung S6/7, Gear remote viewer and control, stitching on S7 and play (or in the Gear headset), is not available for Apple. When is the Gear remote in the Apple Store? I’ve contact Samsung_NL by Twitter, but there is no news about an iOS App. Waiting for an answer from Twitter group Samsung_Developers.

Create a video with only photos (set duration to 15 sec. to view around) is an other way to see your photos on YouTube. I prefer to use a hidden link in Youtube. (disable the notifications to your subscribers in advanced tab.)

I used Microsoft OneDrive to upload my files to my iPhone but could not find a good 360 photo viewer. I can only see the photos stretched. How to distribute the files and let them show to my family?

Later I found a good working App : PhotoSphere (0,99) and Mobile VR Station for all kind of 360 files. You must import the photos first from the camera roll. It’s not possible to add the photos directly from OneDrive. So download and save them first to the camera roll. Zooming and swiping is possible.

So my 360 journey starts today and takes some challenges.

Some ideas how to film in 360 degrees

There is no director needed for this camera. Just think the viewer is the camera. The audience is the director self. I think it’s a good rule to place the camera on eye height (sitting about 105 and standing about 155 cm). I bought a simple photo Light Stand ( $ 26). This has a stable base and is easy adjustable.

Light Stand

Place the set on the right location and (with Samsung App on S7) start the movie. Because of 360 video, you are always in the picture if you start capturing by hand. Some cutting is needed.

I Think 360 movies are great to record a theater show as sitting in the front row or maybe better on row 6. The camera can also use only the front 180 camera (in the back are only spectators so mostly you need only the front to see the stage). Good for shows of your kids at school. In the professional scene JauntVR  did some good thinks. See there App.

I tested the camera on a fancy fair. Walking with the Gear360 in front of me. If you look back you see me.  This is more or less a video 360 blog. Go to.

I can imagine that you don’t want to see yourself in the video shot.
I also did some recordings on a Wedding. Put the Gear360 on a Light Stand and record about 4-6 min. per shot. Stitching in Cyberlink is a time-consuming operation. The process is processor and memory intensive. The whole wedding movie takes a day. After the stitching, you need to create the video and after that the upload takes another few hours. How more detail (4K) the more time you need for both creating and uploading. I used a MPEG-4 4K 3840×1920/30p (50 Mbps) format in mp4 for YouTube.

Youtubu upload

 

 

 

 

 

 

 

Make 360 degree photos

When you make photos, the best way is to put the camera on a simple Light Stand. Make a photo with timer and only the feet of the Stand is visible. The default timer is 3 sec. Set it on 10 sec. to hide yourself. (With the Samsung remote App, it’s easier to make a remote photo.
Second way to hide yourself: hold the camera on your head. You are almost gone!

End conclusion.

360 video is a great way to jump into the next experience of movies. The way to deliver is not for all people easy. iPhone users’ needs more steps to deliver the experience of VR.
Is it cheap to start 360 video? No, but to reach the consumer market it’s a good start.

Update July 5

I have no Samsung S7 smartphone, but iPhone6S, so no remote control.

I’ve made a wedding movie. Total length is about 90 minutes. I run the Cyberlink gear Action software on a PC with AMD Athlon64 x2 Dual 6000+ with 3 GHz and 8 GB memory. It took about 3,5 day to stitch the files from the gear360. Full processor load!  After that I create the movie and remove first and last 30 sec (start/stop recording by button on camera) from every shot. Creating the movie cost another night. Then upload to YouTube to watch. You need a fast multi core processor and some patient. Results are amazing!

Update November 14

I had some big problems with copying files from Gear360 to computer: some files could not stitched in Cyberlink PowerDirector15. Files are corrupt. Weird is that these files are random in the list. Even after a format of the SD card, the problem exist. Now I found out, that direct copying the files from SD to Computer (my laptop has a SD slot), the bad files much bigger are then the files already copied by camera connection. Now I could restore some corrupted files from earlier 360 movies.

So this is a better way to import files from camera to computer.